Robots.txt 生成器
通过设置 user-agent、allow/disallow 规则、crawl-delay 和 sitemap,生成有效的 robots.txt 文件
用 * 表示所有爬虫,或填写具体名称,如 Googlebot
访问规则
把这些内容保存为 robots.txt,放在网站根目录。
常见问题
常见问题
关于 robots.txt 文件的一切
robots.txt 文件有什么用?
它告诉搜索引擎的爬虫,网站的哪些部分可以抓取。文件要放在域名根目录。它只是一种指示而不是安全措施:被屏蔽的页面如果有别的网站链接,仍然可能被收录。
Allow 和 Disallow 有什么区别?
Disallow 关闭某个路径的抓取,Allow 则显式放行。Allow 用于例外:可以屏蔽 /admin/ 同时放行 /admin/public/。空的 Disallow 表示整站允许,而「Disallow: /」表示整站禁止。
所有搜索引擎都遵守 crawl-delay 吗?
不会。Crawl-delay 指令告诉爬虫两次请求之间等待几秒,但并非所有爬虫都遵守。Bing 和 Yandex 遵守,Google 会忽略并自行调节抓取频率:要让 Google 放慢,服务器在负载过高时需返回 503 或 429。只有在服务器负载有问题时才使用 crawl-delay。
robots.txt 有什么用?
它告诉搜索引擎的爬虫,网站的哪些部分可以抓取。文件放在域名根目录,而且只是一种请求:被屏蔽的页面,知道地址的人照样能打开。
所有搜索引擎都遵守抓取延迟吗?
不是。Bing 和 Yandex 会参考,Google 会忽略,它的抓取频率要在 Search Console 里设置。但对付比较激进的爬虫,它仍然有用。
