Generatore SEO

Generatore Robots.txt

Scrivi chi può leggere il sito e quali percorsi bloccare: lo strumento compone il file robots.txt, da copiare o scaricare.

Usa * per tutti i bot, oppure un nome specifico come Googlebot

Regole di accesso

Metti il file robots.txt nella cartella principale del sito, in modo che si apra da tuosito.it/robots.txt.

FAQ

Domande Frequenti

Tutto quello che devi sapere sul file robots.txt

A cosa serve il file robots.txt?

Il file robots.txt indica ai crawler dei motori di ricerca quali parti del sito possono o non possono scansionare. Va posizionato nella root del dominio (es. https://esempio.com/robots.txt). Attenzione: è un'indicazione, non una protezione. Una pagina bloccata può comunque finire nei risultati se altri siti la linkano.

Qual è la differenza tra Allow e Disallow?

Disallow blocca l'accesso dei crawler a un percorso, mentre Allow lo consente esplicitamente. Allow è utile per creare eccezioni: ad esempio puoi bloccare /admin/ ma consentire /admin/pubblico/. Una riga "Disallow:" vuota consente l'accesso a tutto il sito, mentre "Disallow: /" blocca l'intero sito.

Tutti i motori di ricerca rispettano il crawl-delay?

No. La direttiva Crawl-delay indica ai bot quanti secondi attendere tra una richiesta e l'altra, ma non tutti la rispettano. Bing e Yandex la seguono, Google la ignora e regola da sé la frequenza: per rallentarlo il server deve rispondere 503 o 429 finché è sotto carico. Usa il crawl-delay solo se il tuo server ha problemi di carico.

Che differenza c'è fra Allow e Disallow?

Disallow chiude un percorso alla scansione, Allow lo riapre e serve per le eccezioni: si può bloccare una cartella e lasciare accessibile una sua sottocartella. Un Disallow vuoto consente tutto.

Tutti i motori rispettano il crawl delay?

No. Bing e Yandex lo considerano, Google lo ignora e la frequenza di scansione va regolata da Search Console. Resta utile per contenere i crawler più aggressivi.

Strumenti simili