Diretrizes de Rastreamento
Robots.txt bem configurado começa com uma regra simples: não bloquear o que você precisa que seja rastreado.
O arquivo robots.txt é a primeira porta que o Googlebot e outros rastreadores visitam. Um único caractere digitado incorretamente pode ocultar seções inteiras do seu site dos mecanismos de busca.
Controle o acesso dos rastreadores sem comprometer seu SEO.
Robots.txt não é ferramenta de desindexação
Um dos mitos mais comuns e prejudiciais em SEO é acreditar que colocar Disallow: /pagina no robots.txt fará com que o Google remova a página do índice.
O próprio Google documenta oficialmente que o robots.txt controla apenas o rastreamento (crawling). Se outros sites possuírem links apontando para aquela URL, o Google ainda poderá indexá-la (aparecendo nos resultados sem descrição e com a mensagem de que as informações não estão disponíveis devido ao robots.txt).
Para desindexar uma página com segurança, a abordagem técnica correta é permitir o rastreamento e aplicar a diretiva <meta name="robots" content="noindex"> no HTML ou cabeçalho HTTP.
O que deve ser permitido
- • Todas as páginas públicas de conteúdo e produtos.
- • Arquivos CSS e JavaScript essenciais para que o Googlebot consiga renderizar a página como um usuário humano.
- • Imagens públicas e recursos visuais do layout.
O que pode ser bloqueado
- • Painéis administrativos internos (ex:
/admin/,/app/). - • Endpoints de APIs privadas que não possuem interface pública.
- • Carrinhos de compras e áreas restritas de autenticação de usuários.
- • Parâmetros infinitos de busca interna que consomem rastreamento sem valor.
Diretivas inválidas: Fuja do "Crawl-delay"
O Google documenta explicitamente que o Googlebot não suporta a diretiva Crawl-delay. Incluir essa regra não tem efeito algum sobre o Google e serve apenas para poluir o arquivo.
O Sitemapy gera arquivos robots.txt limpos, contendo apenas diretivas suportadas oficialmente e sempre apontando para a URL absoluta do seu sitemap principal:
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /app/
Sitemap: https://sitemapy.com.br/sitemap.xml
Exemplo: Disallow na pasta errada esconde o blog
Alguém adiciona Disallow: /blog para “evitar conteúdo fino”. O Googlebot deixa de ler os artigos novos. Links externos ainda podem indexar a URL, só que sem title útil, porque o rastreador não viu o HTML.
O que o diagnóstico encontra
- Disallow cobrindo CSS, JS ou a seção que deveria ranquear
- Crawl-delay, que o Googlebot ignora
- Sitemap: com URL relativa ou arquivo que não existe
- Regra que bloqueia o rastreamento e alguém esperando desindexar
O que o Sitemapy publica
- Allow para o site público
- Disallow só em /app/, /admin/ e busca interna
- Linha Sitemap com a URL absoluta do XML
- noindex no HTML quando a página deve sair do índice
Perguntas frequentes
Robots.txt tira a página do Google?
Não. Ele impede o rastreamento. Para sair do índice, a página precisa ser rastreada com noindex, ou devolver 404 ou 410.
Posso bloquear o GPTBot?
Pode, com um grupo User-agent próprio. Isso não muda o ranking no Google.
O arquivo precisa ficar na raiz?
Sim. https://seudominio.com/robots.txt. Um arquivo dentro de pasta não vale para o host inteiro.
Proteja o rastreamento do seu site com o Sitemapy
Audite seu arquivo robots.txt agora e descubra se o seu site está bloqueando páginas ou recursos essenciais sem você saber.