Générateur SEO

Générateur Robots.txt

Créez un fichier robots.txt valide en définissant le user-agent, les règles allow/disallow, le crawl-delay et le sitemap

Utilisez * pour tous les robots, ou un nom précis comme Googlebot

Règles d'accès

Enregistrez ce contenu dans un fichier robots.txt à la racine de votre site.

FAQ

Questions Fréquentes

Tout savoir sur le fichier robots.txt

À quoi sert le fichier robots.txt ?

Il indique aux robots des moteurs quelles parties du site ils peuvent parcourir. Il se place à la racine du domaine. Ce n'est qu'une consigne, pas une sécurité : une page bloquée peut quand même être indexée si d'autres sites y renvoient.

Quelle différence entre Allow et Disallow ?

Disallow ferme un chemin à l'exploration, Allow l'ouvre explicitement. Allow sert aux exceptions : on peut bloquer /admin/ et autoriser /admin/public/. Un Disallow vide autorise tout le site, tandis que « Disallow: / » le bloque entièrement.

Tous les moteurs respectent-ils le crawl-delay ?

Non. La directive Crawl-delay indique aux robots combien de secondes attendre entre deux requêtes, mais tous ne la respectent pas. Bing et Yandex la suivent, Google l'ignore et règle lui-même sa fréquence : pour le ralentir, le serveur doit répondre 503 ou 429 tant qu'il est surchargé. N'utilisez le crawl-delay que si votre serveur a des problèmes de charge.