Generador SEO

Generador Robots.txt

Crea un archivo robots.txt válido definiendo user-agent, reglas allow/disallow, crawl-delay y sitemap

Usa * para todos los bots, o un nombre concreto como Googlebot

Reglas de acceso

Guarda este contenido en un archivo llamado robots.txt en la raíz de tu sitio.

FAQ

Preguntas Frecuentes

Todo sobre el archivo robots.txt

¿Para qué sirve el archivo robots.txt?

Le dice a los rastreadores de los buscadores qué partes del sitio pueden recorrer. Va en la raíz del dominio. Es solo una indicación, no una medida de seguridad: una página bloqueada puede indexarse igual si otros sitios enlazan a ella.

¿Qué diferencia hay entre Allow y Disallow?

Disallow cierra una ruta al rastreo, Allow la abre de forma explícita. Allow sirve para las excepciones: puedes bloquear /admin/ y permitir /admin/public/. Un Disallow vacío permite todo el sitio, mientras que «Disallow: /» lo bloquea entero.

¿Todos los buscadores respetan el crawl-delay?

No. La directiva Crawl-delay indica a los bots cuántos segundos esperar entre una petición y otra, pero no todos la respetan. Bing y Yandex la siguen, Google la ignora y regula su propia frecuencia: para frenarlo el servidor tiene que responder 503 o 429 mientras está sobrecargado. Usa el crawl-delay solo si tu servidor tiene problemas de carga.