Gerador de robots.txt
Use * para todos os bots, ou um nome específico como Googlebot
Regras de acesso
Guarde este conteúdo num ficheiro chamado robots.txt na raiz do seu site.
Perguntas frequentes
O que convém saber sobre o ficheiro robots.txt
Para que serve o ficheiro robots.txt?
O robots.txt diz aos crawlers dos motores de busca que partes do site podem ou não podem percorrer. Tem de estar na raiz do domínio, por exemplo https://example.com/robots.txt. Atenção: é uma diretiva, não um mecanismo de segurança — uma página bloqueada pode na mesma ser indexada se outros sites lhe apontarem links.
Qual é a diferença entre Allow e Disallow?
O Disallow bloqueia o acesso do crawler a um caminho, o Allow permite-o de forma explícita. O Allow serve sobretudo para exceções: pode bloquear /admin/ e permitir /admin/public/. Uma linha «Disallow:» vazia liberta o site inteiro, enquanto «Disallow: /» bloqueia-o todo.
Todos os motores respeitam o crawl-delay?
Não. A diretiva Crawl-delay indica aos bots quantos segundos esperar entre um pedido e o seguinte, mas nem todos a respeitam. O Bing e o Yandex seguem-na, o Google ignora-a e regula sozinho a frequência: para o abrandar, o servidor tem de responder 503 ou 429 enquanto estiver sobrecarregado. Use o crawl-delay só se o seu servidor tiver problemas de carga.
Para que serve um ficheiro robots.txt?
Diz aos rastreadores dos motores de busca que partes do site podem percorrer. Fica na raiz do domínio e não protege nada: uma página bloqueada continua a ser acessível a quem souber o endereço dela.
Todos os motores de busca respeitam o crawl delay?
Não. O Bing e o Yandex têm-no em conta, o Google ignora-o e a cadência de rastreio define-se antes na Search Console. Continua útil para travar os rastreadores mais agressivos.
