robots.txt生成器 - 在线搜索引擎爬虫规则配置

robots.txt 是网站根目录下的一个纯文本文件，用于告知搜索引擎爬虫（如Googlebot、Bingbot）哪些页面或目录可以抓取，哪些不可以。它遵循机器人排除协议（Robots Exclusion Protocol），是SEO优化的基础配置之一。

正确配置 robots.txt 可以：避免爬虫抓取敏感或无用页面（如后台、重复内容）、节省服务器带宽资源（Crawl Budget）、引导爬虫优先抓取重要内容、配合Sitemap提升网站收录效率。

Disallow 用于禁止爬虫访问指定路径，Allow 用于在禁止范围内开放特定路径。规则按从上到下的顺序匹配，最具体的匹配规则优先。

常见场景：禁止 /private/ 目录但允许其中的 /private/public-docs/ 子目录：

Disallow: /private/
Allow: /private/public-docs/

不能！ robots.txt 只是一个公开的协议建议，任何用户都可以直接访问 https://yoursite.com/robots.txt 查看其内容。恶意爬虫完全可以忽略这些规则。如需保护敏感数据，请使用身份验证、IP限制、密码保护等真正的安全措施，而不是依赖 robots.txt。

您可以通过以下方式验证：

1. Google Search Console：使用「robots.txt 测试工具」输入URL进行实时测试
2. 直接访问：在浏览器中打开 https://你的域名/robots.txt 确认内容正确
3. 命令行工具：使用 curl https://你的域名/robots.txt 检查返回内容
4. 本工具：使用本生成器的实时预览功能，下载后上传到网站根目录即可

Crawl-delay 指定爬虫两次请求之间的等待秒数。注意：Googlebot 不支持此指令（需通过Google Search Console设置抓取速率），但Bing、Yahoo、Yandex等支持。

一般建议：小型网站无需设置；中型网站可设置 3-5 秒；大型网站或服务器性能有限时可设置 5-10 秒。设置过大会导致搜索引擎收录缓慢。

是否屏蔽AI爬虫取决于您的内容策略。屏蔽后您的网站内容不会被用于训练大型语言模型（LLM）。常见的AI爬虫包括：

• GPTBot — OpenAI（ChatGPT训练数据收集）
• CCBot — Common Crawl（公开数据集，被多家AI公司使用）
• anthropic-ai — Anthropic（Claude训练数据）
• Google-Extended — Google（Bard/Gemini训练，独立于Googlebot索引）