Générateur Robots.txt
Utilisez * pour tous les robots, ou un nom précis comme Googlebot
Règles d'accès
Enregistrez ce contenu dans un fichier robots.txt à la racine de votre site.
Questions Fréquentes
Tout savoir sur le fichier robots.txt
À quoi sert le fichier robots.txt ?
Il indique aux robots des moteurs quelles parties du site ils peuvent parcourir. Il se place à la racine du domaine. Ce n'est qu'une consigne, pas une sécurité : une page bloquée peut quand même être indexée si d'autres sites y renvoient.
Quelle différence entre Allow et Disallow ?
Disallow ferme un chemin à l'exploration, Allow l'ouvre explicitement. Allow sert aux exceptions : on peut bloquer /admin/ et autoriser /admin/public/. Un Disallow vide autorise tout le site, tandis que « Disallow: / » le bloque entièrement.
Tous les moteurs respectent-ils le crawl-delay ?
Non. La directive Crawl-delay indique aux robots combien de secondes attendre entre deux requêtes, mais tous ne la respectent pas. Bing et Yandex la suivent, Google l'ignore et règle lui-même sa fréquence : pour le ralentir, le serveur doit répondre 503 ou 429 tant qu'il est surchargé. N'utilisez le crawl-delay que si votre serveur a des problèmes de charge.
