robots.txt: o que é e como configurar corretamente

Todo site precisa de uma base técnica bem estruturada para ser rastreado pelos mecanismos de busca. Entre os primeiros arquivos que os robôs consultam está o robots.txt.
Esse arquivo simples define os limites de acesso para os rastreadores e ajuda a manter o site sob controle. Um ajuste incorreto pode fazer com que páginas importantes não sejam analisadas ou que partes desnecessárias consumam tempo de rastreamento.

Compreender seu papel ajuda a garantir que o Google e outros mecanismos leiam o conteúdo certo e priorizem o que realmente importa.

Sumário

O que é o robots.txt

O robots.txt é um arquivo de texto colocado na raiz do site, como em dominio.com/robots.txt. Ele orienta os mecanismos de busca sobre o que deve ou não ser visitado dentro do site.
As instruções seguem o padrão Robots Exclusion Protocol, reconhecido por buscadores como Google, Bing e Yandex.

Antes de analisar uma página, os robôs verificam esse arquivo para entender quais áreas estão liberadas para rastreamento. Assim, o site controla melhor o uso do crawl budget e evita que pastas desnecessárias apareçam nos resultados de busca.

Um exemplo simples de configuração ajuda a entender sua estrutura básica:

User-agent: *
Disallow: /admin/
Allow: /blog/
Sitemap: https://www.exemplo.com/sitemap.xml

User-agent: * indica que a regra vale para todos os robôs de busca.
Disallow: /admin/ bloqueia o rastreamento da área administrativa.
Allow: /blog/ libera o acesso à seção de conteúdo.
Sitemap: mostra o caminho do mapa do site, que ajuda os rastreadores a localizar páginas importantes.

Esse modelo serve como ponto de partida para criar instruções específicas conforme a estrutura e os objetivos de cada site.

Como usar o robots.txt

Usar o robots.txt exige cuidado com estrutura e sintaxe. O arquivo precisa ser entendido por qualquer mecanismo de busca, e um pequeno erro pode restringir o acesso a partes importantes do site.

A forma geral de configuração segue este padrão:

User-agent: [nome do robô]
Disallow: [caminho da pasta ou página]
Allow: [caminho liberado]

User-agent define para qual robô a regra se aplica.
Disallow impede o rastreamento de um diretório ou arquivo.
Allow autoriza exceções dentro de áreas bloqueadas.

Por exemplo, o código abaixo evita que os robôs acessem toda a pasta /private/, mas libera um arquivo específico chamado politica.html:

User-agent: *
Disallow: /private/
Allow: /private/politica.html

Nos últimos meses, algumas empresas começaram a usar o robots.txt também para bloquear o acesso de modelos de inteligência artificial.

A Cloudflare anunciou que implementará recursos para identificar e restringir agentes automatizados de IA que ignoram esse arquivo.
Essa medida reflete uma tendência crescente: muitos sites querem impedir que seus conteúdos sejam utilizados para treinar modelos de linguagem sem autorização.

Como a adoção do padrão ainda é recente, o comportamento dos robôs de IA varia. Alguns respeitam as diretivas, enquanto outros ainda ignoram essas restrições. Por isso, o robots.txt continua sendo uma recomendação, não um mecanismo de segurança garantido.

1. Crie o arquivo no formato correto

O primeiro passo é garantir que o arquivo seja criado no formato simples de texto, sem extensões adicionais. Ele deve ter o nome exato de robots.txt e ser salvo com codificação UTF‑8.
O caminho do arquivo também é importante: ele precisa estar na pasta raiz do domínio, acessível por meio de https://seusite.com/robots.txt.

Nunca adicione o arquivo em subpastas ou subdomínios, pois os rastreadores não o reconhecem nesses locais. Um único domínio pode ter apenas um robots.txt ativo. Se o site possui versões separadas, como blog.seusite.com ou loja.seusite.com, cada subdomínio precisa ter seu próprio arquivo.

Antes de publicar, revise o arquivo em um editor de texto puro, sem formatações automáticas que possam inserir caracteres invisíveis. Esse cuidado simples evita erros de leitura pelos robôs e garante que todas as diretivas sejam interpretadas corretamente.

2. Defina o que liberar e o que bloquear

Com o arquivo criado, é hora de definir o que os rastreadores podem ou não acessar. As decisões devem refletir a estratégia do site, equilibrando privacidade e visibilidade.

Use Disallow para restringir áreas internas, como /wp-admin/, /checkout/ ou páginas de testes. Use Allow para liberar exceções dentro de diretórios bloqueados. Essa combinação é essencial em sites que utilizam CMSs como WordPress, onde algumas pastas técnicas precisam ser bloqueadas sem afetar o conteúdo principal.

Veja um exemplo comum para WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.seusite.com/sitemap.xml

Esse formato impede que os mecanismos de busca rastreiem a área administrativa, mas autoriza o acesso ao arquivo necessário para o funcionamento de recursos dinâmicos do site.

Ao definir o que bloquear, evite exageros. Bloquear diretórios amplos pode impedir o rastreamento de seções estratégicas e reduzir a visibilidade nos resultados de busca.

3. Inclua o sitemap do site

O sitemap ajuda os mecanismos de busca a localizar e entender a estrutura completa do site. Mesmo que ele esteja referenciado no Search Console, é recomendado adicioná-lo também no robots.txt. Essa prática facilita o rastreamento inicial e reduz o tempo para descoberta de novas páginas.

A linha que indica o sitemap deve ser colocada no final do arquivo e conter o endereço completo, incluindo o protocolo HTTPS.

Sitemap: https://www.seusite.com/sitemap.xml

Se o site tiver mais de um sitemap, adicione todos, cada um em uma linha. Isso é comum em sites grandes, lojas virtuais e portais de conteúdo, onde o mapa é dividido por seções.

Um detalhe importante é garantir que o sitemap esteja acessível e sem erros de status. Um link quebrado ou inacessível pode afetar o rastreamento e levar o Google a ignorar partes importantes do site.

4. Teste antes de publicar

Antes de disponibilizar o arquivo no ambiente principal, teste seu funcionamento. O Google oferece a ferramenta de teste de robots.txt no Search Console, que permite verificar se as regras estão sendo interpretadas corretamente.

Copie o conteúdo do arquivo e simule o acesso de uma URL específica para saber se ela será rastreada ou bloqueada.

Outro método simples é acessar manualmente as URLs no navegador. Se uma URL bloqueada ainda puder ser rastreada por ferramentas externas, o arquivo pode estar em cache ou configurado incorretamente.

Sempre que realizar mudanças significativas, aguarde alguns minutos e teste novamente. Assim você garante que os mecanismos de busca estejam respeitando as novas diretrizes e evita falhas que poderiam comprometer o rastreamento.

5. Mantenha o arquivo atualizado

O robots.txt não é um documento estático. Mudanças na estrutura do site, em URLs ou em áreas restritas exigem revisão periódica do arquivo. Sempre que uma nova seção é criada ou um diretório deixa de existir, verifique se as regras ainda fazem sentido.

Uma boa prática é revisar o arquivo a cada atualização maior, redirecionamento ou migração de servidor. Em plataformas dinâmicas, como lojas virtuais e blogs com categorias automáticas, é comum que surgam caminhos novos sem rastreamento previsto.
Manter o arquivo atualizado ajuda a garantir que os robôs não desperdicem tempo em áreas irrelevantes ou inconsistentes.

Além disso, mantenha um registro das versões anteriores. Essa precaução permite restaurar rapidamente o arquivo caso uma configuração incorreta afete o rastreamento das páginas.

6. Verifique se está acessível

Mesmo um arquivo bem configurado perde efeito se não puder ser acessado pelos rastreadores. Para verificar, acesse diretamente o endereço https://seudominio.com/robots.txt. Se o arquivo retornar erro 404 ou 403, ele está inacessível e precisa ser corrigido.

Também é importante checar se o servidor está enviando o código de status correto (200). Erros de permissão, cache ou políticas de firewall podem impedir que os mecanismos de busca leiam o conteúdo, afetando o rastreamento de todo o site.

Ferramentas como o Search Console, Screaming Frog ou HTTPStatus.io ajudam a validar o acesso e confirmar se o robots.txt é entregue corretamente. Sempre que alterar a hospedagem ou o CDN, faça esse teste novamente para garantir estabilidade no rastreamento.

O que não fazer no robots.txt

O robots.txt é uma ferramenta de controle, mas também uma fonte comum de erros que podem prejudicar a visibilidade do site. Configurações incorretas podem bloquear páginas importantes, expor diretórios internos ou confundir os mecanismos de busca.
Conhecer os erros mais frequentes ajuda a evitá-los e a manter o rastreamento funcionando de forma estável.

1. Bloquear o site inteiro por engano

Um dos erros mais graves é usar a diretiva Disallow: / de forma indevida. Essa linha impede o acesso a todas as páginas do domínio, o que remove o site inteiro dos resultados de busca.

User-agent: *
Disallow: /

Esse tipo de configuração costuma acontecer por descuido em ambientes de desenvolvimento ou migração, quando o bloqueio é feito temporariamente e depois não é removido. Por isso, sempre revise o robots.txt antes de colocar o site no ar.
Uma forma de prevenir esse erro é usar instruções de bloqueio apenas em ambientes locais (como localhost ou staging) e jamais replicar o mesmo arquivo no ambiente de produção.

2. Confiar no robots.txt como proteção de segurança

O robots.txt serve para orientar rastreadores legítimos, não para esconder informações sigilosas. Ele é um arquivo público, acessível a qualquer pessoa, e não impede que usuários visualizem as URLs bloqueadas.
Se uma pasta sensível, como /backup/ ou /documentos/, estiver listada no arquivo, isso apenas revela a sua existência, sem protegê-la.

Para restringir acesso de verdade, use autenticação, controle de permissões no servidor ou bloqueio via .htaccess. O robots.txt deve ser visto como uma diretriz de rastreamento, nunca como uma barreira de segurança.

3. Usar regras muito amplas

Regras genéricas podem causar bloqueios mais extensos do que o esperado. Um simples Disallow: /img/ pode impedir o rastreamento de todas as imagens, inclusive as que aparecem em artigos, produtos ou páginas otimizadas.
Quando o bloqueio for necessário, aplique caminhos específicos. Bloquear todo um diretório deve ser uma decisão calculada, e não um atalho.

É comum que bots respeitem a exatidão do caminho, então evite deixar instruções vagas. Especifique a extensão ou o diretório completo sempre que possível, como no exemplo abaixo:

Disallow: /img/teste/

Essa abordagem garante que apenas a área desejada seja ignorada e que o restante do conteúdo continue disponível para os mecanismos de busca.

4. Esquecer de atualizar após mudanças no site

Ao reestruturar URLs, trocar pastas ou migrar plugins, as regras antigas podem deixar de funcionar. Isso acontece quando o arquivo mantém caminhos que já não existem ou ignora novas seções criadas pelo CMS.
Com o tempo, essas discrepâncias geram rastreamento inconsistente, páginas órfãs ou excesso de erros 404.

Atualize o arquivo sempre que houver alterações significativas. Automatizar essa verificação em fluxos de deploy pode evitar falhas em grandes projetos.
Também é importante revisar o conteúdo após atualizações de plugins ou sistemas, já que novos diretórios podem surgir sem o seu conhecimento.

5. Ignorar erros de sintaxe

O robots.txt é interpretado linha por linha. Qualquer erro de formatação pode fazer o rastreador ignorar parte ou todo o arquivo. Problemas como espaços extras, letras maiúsculas em comandos ou falta de quebras de linha são mais comuns do que parecem.

Por exemplo, disallow:/admin (sem espaço) ou DisAllow: (com letras incorretas) podem invalidar a instrução. Sempre use a sintaxe correta, respeitando letras minúsculas e espaçamento:

User-agent: *
Disallow: /admin/

Outra boa prática é manter o arquivo limpo, sem comentários desnecessários ou linhas duplicadas. Isso diminui chances de erro e facilita futuras manutenções.
Ferramentas como o Teste de robots.txt do Search Console ou o validador da Ahrefs ajudam a identificar problemas de sintaxe e compatibilidade.

6. Esquecer de verificar o arquivo no Search Console

Configurar o robots.txt corretamente é só o primeiro passo. É fundamental confirmar se o Google realmente está lendo o arquivo. No Search Console, a aba destinada a ele mostra quando o último rastreamento ocorreu e se houve bloqueios inesperados.

Sempre que atualizar o arquivo, acompanhe o relatório de cobertura. Ele revela se o Google conseguiu acessar o sitemap e rastrear as páginas esperadas.
Erros como “robots.txt unreachable” indicam que o Google não conseguiu carregar o arquivo, o que interrompe temporariamente o rastreamento do site.

Monitorar regularmente evita perda de tráfego orgânico por falhas simples e permite agir rapidamente caso uma atualização impeça o acesso a URLs importantes.

Como validar o robots.txt no Google Search Console

Validar o arquivo robots.txt garante que o Google esteja interpretando corretamente suas instruções. Mesmo configurações pequenas podem alterar o rastreamento do site, por isso o monitoramento contínuo é fundamental.
O Search Console reúne ferramentas que facilitam essa verificação e permitem testar comportamentos de URLs específicas.

1. Acesse o relatório de robots.txt

No painel do Search Console, acesse a seção de configurações e procure a opção referente ao robots.txt. O relatório mostra quando o arquivo foi analisado pela última vez e se houve algum erro de leitura.
Ali é possível identificar mensagens de bloqueio, status de acesso e eventuais problemas de permissão. Um erro comum é o “robots.txt unreachable”, que indica falha de conexão entre o servidor e o Googlebot.

Se o relatório exibir esse aviso, verifique se o arquivo realmente existe no diretório raiz e se o servidor não está bloqueando a solicitação. Após corrigir o problema, solicite uma nova verificação.

2. Teste URLs específicas

O Search Console também permite testar comportamentos individuais. Com a ferramenta “Inspeção de URL”, copie o endereço de uma página e veja se o rastreador está autorizado a acessá-la conforme as regras do robots.txt.
O sistema exibe um alerta se a página estiver bloqueada e informa qual linha do arquivo contém a restrição.

Essa verificação é essencial após alterações, especialmente em diretórios ou seções recém-criadas. Testar URLs representativas, como páginas de categoria e produtos, ajuda a confirmar se o bloqueio está sendo aplicado de forma seletiva e funcional.

3. Solicite recrawling do arquivo

Depois de ajustar o robots.txt, é importante solicitar um novo rastreamento para que o Google atualize suas diretivas mais rapidamente. Embora o Google revise o arquivo periodicamente, forçar o recrawling acelera o processo de atualização.

Isso pode ser feito diretamente no Search Console, usando a ferramenta de envio de URL. Basta inserir o endereço completo do arquivo, como https://seudominio.com/robots.txt, e solicitar uma nova inspeção.
Outra forma é limpar o cache do servidor ou do CDN, garantindo que o Googlebot acesse a versão mais recente do arquivo.

Durante esse período, observe o relatório de acesso no servidor para verificar se há requisições recentes do Googlebot. Isso confirma se o novo arquivo foi lido com sucesso e se as mudanças passaram a valer.

4. Verifique o relatório de cobertura / indexação de páginas

Após o recrawling, o próximo passo é revisar o relatório de cobertura no Search Console. Ele mostra quais páginas foram indexadas, bloqueadas ou continuam pendentes de rastreamento.
Se o robots.txt estiver bloqueando URLs importantes, o relatório vai exibir avisos na seção “Excluídas por robots.txt”.

Essas informações ajudam a identificar se as novas regras estão aplicadas corretamente. Em casos de mudança de estrutura, como migração de diretórios ou criação de áreas privadas, essa checagem é essencial para evitar perda de visibilidade.

Acompanhar esse relatório ao longo das semanas seguintes garante que o Google esteja interpretando o arquivo corretamente e que as páginas prioritárias continuem indexadas.

5. Esteja atento a erros de “robots.txt unreachable”

O erro “robots.txt unreachable” indica que o Googlebot tentou acessar o arquivo, mas o servidor não respondeu corretamente. Isso impede o rastreamento de todo o site até que o problema seja resolvido.
Esse erro pode acontecer por instabilidade na hospedagem, mau funcionamento do CDN, bloqueios de firewall ou configurações incorretas de cache.

Verifique se o servidor retorna o código de status 200 para o arquivo, e assegure que ele esteja acessível tanto por www quanto sem www. Em projetos hospedados atrás de serviços como Cloudflare, revise as regras de cache e firewall que possam interferir na entrega do arquivo.

Caso o erro persista, o relatório do Google Search Console é a melhor ferramenta para diagnosticar falhas e solicitar uma nova leitura do arquivo. Essa verificação também ajuda a confirmar se os bloqueios configurados em diretórios como /wp-admin/ estão funcionando conforme esperado.

6. Repita a validação após alterações importantes

Cada atualização na estrutura do site, no sitemap ou nas configurações de servidor afeta a leitura do robots.txt. Por isso, é fundamental repetir os testes sempre que houver mudanças relevantes.
Após ajustes, use a ferramenta de inspeção do Search Console e teste novamente URLs representativas, como páginas de categoria ou produtos.

Se o site passou por uma migração, o ideal é combinar essa revisão com a validação dos sitemaps. Caso ainda não tenha feito isso, o artigo sobre Sitemap.xml explica como garantir que o mapa de URLs esteja perfeitamente alinhado com o que o robots.txt sinaliza.

Além disso, revisar o robots.txt em conjunto com arquivos como o llms.txt ajuda a manter coerência entre as diretrizes dadas a rastreadores de busca e a agentes de IA generativa.

Esse processo contínuo mantém o site rastreável e previsível, evitando que ajustes técnicos passem despercebidos e prejudiquem a indexação.

Conclusão

O robots.txt organiza o rastreamento, evita desperdício de crawl budget e mantém o foco nas áreas que realmente importam para sua visibilidade orgânica. A combinação de diretivas bem escritas, sitemap acessível e validação contínua no Search Console reduz riscos de bloqueios acidentais e melhora a previsibilidade do rastreamento.

Erros como “robots.txt unreachable” interrompem a leitura do site, por isso monitorar status 200, cache de CDN e regras de firewall precisa virar rotina de manutenção técnica. Em paralelo, o cenário atual adicionou uma camada nova: provedores como a Cloudflare passaram a bloquear bots de IA por padrão ou a dar controles mais finos, o que reforça a importância de alinhar políticas de rastreamento entre buscadores e agentes de IA.

Quer uma visão de ponta a ponta para consolidar essa base técnica? Veja o guia completo de SEO técnico e conecte este tema com sitemap, met a tags e validações de dados estruturados para aprofundar pontos específicos, revise também: Sitemap.xml, Meta tags, Google Search Console e Rich Results Test, que se integram diretamente ao fluxo de configuração e auditoria do robots.txt.

O que é o robots.txt, para que serve e como configurá-lo corretamente