SEO 生成器

Robots.txt 生成器

通过设置 user-agent、allow/disallow 规则、crawl-delay 和 sitemap,生成有效的 robots.txt 文件

用 * 表示所有爬虫,或填写具体名称,如 Googlebot

访问规则

把这些内容保存为 robots.txt,放在网站根目录。

常见问题

常见问题

关于 robots.txt 文件的一切

robots.txt 文件有什么用?

它告诉搜索引擎的爬虫,网站的哪些部分可以抓取。文件要放在域名根目录。它只是一种指示而不是安全措施:被屏蔽的页面如果有别的网站链接,仍然可能被收录。

Allow 和 Disallow 有什么区别?

Disallow 关闭某个路径的抓取,Allow 则显式放行。Allow 用于例外:可以屏蔽 /admin/ 同时放行 /admin/public/。空的 Disallow 表示整站允许,而「Disallow: /」表示整站禁止。

所有搜索引擎都遵守 crawl-delay 吗?

不会。Crawl-delay 指令告诉爬虫两次请求之间等待几秒,但并非所有爬虫都遵守。Bing 和 Yandex 遵守,Google 会忽略并自行调节抓取频率:要让 Google 放慢,服务器在负载过高时需返回 503 或 429。只有在服务器负载有问题时才使用 crawl-delay。

robots.txt 有什么用?

它告诉搜索引擎的爬虫,网站的哪些部分可以抓取。文件放在域名根目录,而且只是一种请求:被屏蔽的页面,知道地址的人照样能打开。

所有搜索引擎都遵守抓取延迟吗?

不是。Bing 和 Yandex 会参考,Google 会忽略,它的抓取频率要在 Search Console 里设置。但对付比较激进的爬虫,它仍然有用。