Os resultados são fornecidos apenas para fins informativos e podem conter erros. Verifique de forma independente as informações importantes. O uso desta ferramenta é por sua conta e risco.
O que esta ferramenta faz
O Gerador de Robots.txt cria o arquivo robots.txt, que informa aos rastreadores dos mecanismos de busca quais partes de um site eles podem visitar. Escolha Permitir todos os rastreadores ou Bloquear todos os rastreadores, liste os caminhos que devem ficar fora do rastreamento (um por linha, como /admin/) e adicione a URL completa do seu sitemap XML. As regras valem para todos os rastreadores (User-agent: *).
Envie o resultado como um arquivo de texto puro chamado robots.txt na raiz do domínio, para que ele fique acessível em https://yourdomain.com/robots.txt. Os rastreadores o leem antes de qualquer outra coisa. Os caminhos bloqueados só são listados quando a regra padrão é Permitir todos os rastreadores, porque Bloquear todos os rastreadores já os cobre.
Quando usar
- Lançar um site e indicar aos rastreadores onde está o sitemap.
- Manter os rastreadores longe de caminhos de admin, carrinho, resultados de busca ou APIs internas.
- Bloquear todo o rastreamento de um site de homologação ou de testes.
- Reduzir o desperdício de crawl budget com URLs filtradas ou duplicadas.
Exemplo prático
Entrada
Permitir todos os rastreadores
Disallow: /admin/, /cart/
Sitemap: https://example.com/sitemap.xmlSaída
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Sitemap: https://example.com/sitemap.xmlPerguntas sobre esta ferramenta
O Disallow mantém uma página fora do Google?
Não de forma confiável. Ele impede o rastreamento, mas uma URL bloqueada ainda pode ser indexada a partir de links em outros sites, sem descrição. Para manter uma página fora dos resultados de busca, permita o rastreamento e adicione uma meta tag robots ou um header noindex.
O robots.txt é uma medida de segurança?
Não. É um arquivo público, e os rastreadores bem-comportados o seguem voluntariamente. Listar caminhos secretos nele, na verdade, os divulga. Proteja as áreas privadas com autenticação.
Como bloqueio os rastreadores de treinamento de IA?
Adicione um grupo separado para cada rastreador que você quer excluir, por exemplo User-agent: GPTBot seguido de Disallow: /. Cada empresa documenta os nomes de user-agent que seus rastreadores usam.
E se eu bloquear todo o site de homologação e lançar com o mesmo arquivo?
Aí o site em produção fica bloqueado para os mecanismos de busca. Confira o robots.txt em todo lançamento; um Disallow: / esquecido é uma das causas mais comuns de quedas repentinas de tráfego.
Esta ferramenta é gratuita?
Sim, é grátis. Sem cadastro nem e-mail. Veja o resultado nesta página.
Como recebo o resultado?
Use a ferramenta nesta página. O resultado aparece aqui, sem envio por e-mail.