无需登录 数据私有 本地保存

robots.txt 测试模拟器 - 验证爬虫规则

9
0
0
0

Robots.txt 测试模拟器

模拟搜索引擎爬虫行为，验证 robots.txt 规则是否按预期生效。支持通配符匹配、多 User-Agent 测试及规则可视化。

User-Agent 组：0
Disallow：0
Allow：0
Sitemap：0
Crawl-delay：0
快捷模板：
robots.txt
1
测试规则
输入完整URL或路径（如 /private/data.html），路径自动以 / 开头
规则解析预览
行User-Agent类型路径/值
暂无解析数据

常见问题 & 知识点

robots.txt 是什么？有什么作用？
robots.txt 是放置在网站根目录下的文本文件，用于告知搜索引擎爬虫哪些页面或目录不应被抓取。它是 Robots Exclusion Protocol（爬虫排除协议）的一部分，被 Google、Bing、百度等主流搜索引擎广泛支持。需要注意的是，robots.txt 仅是一种建议性协议，恶意的爬虫可能会忽略它。对于需要严格保密的页面，应使用密码保护或 noindex meta 标签。
Allow 和 Disallow 规则的优先级是怎样的？
当 Allow 和 Disallow 规则同时匹配一个 URL 时，采用最长匹配优先原则。即选择路径长度更长、更具体的规则。例如：Disallow: /admin/ 和 Allow: /admin/login.php，访问 /admin/login.php 时 Allow 规则更长，因此允许爬取。如果两条规则长度相同，Google 的策略是 Allow 优先。
robots.txt 支持通配符 * 和 $ 吗？
是的，虽然原始规范不支持，但Google 扩展了语法，现在主流搜索引擎普遍支持：
* — 匹配任意字符序列（0个或多个字符），如 /*.pdf 匹配所有 PDF 文件；
$ — 表示 URL 结尾，如 /page$ 仅匹配 /page，不匹配 /page/extra。本工具完整支持这两种通配符的模拟匹配。
robots.txt 和 meta robots 标签有什么区别？
robots.txt 控制的是爬虫是否抓取页面内容，而 meta robots 标签（<meta name="robots" content="noindex">）控制的是页面是否被索引。一个被 robots.txt 禁止抓取的页面仍然可能出现在搜索结果中（作为仅URL的引用），而使用 noindex 标签的页面则完全不会被索引。两者结合使用效果最佳。
如何正确配置多个 User-Agent 的规则？
每个 User-Agent 声明开始一个新的规则组，直到遇到下一个 User-Agent 声明为止。例如：
User-agent: Googlebot
Disallow: /private/
User-agent: *
Disallow: /
这样 Googlebot 只禁止 /private/，而其他所有爬虫禁止全部内容。规则组之间用空行分隔是最佳实践，能提高可读性并避免解析歧义。
Crawl-delay 指令有什么用？
Crawl-delay 用于指定爬虫两次请求之间的等待秒数，帮助减轻服务器压力。例如 Crawl-delay: 10 表示爬虫每次抓取后等待10秒。需要注意的是：Googlebot 不遵守 Crawl-delay（Google 使用 Search Console 中的速率设置），但 Bing、Yandex 等搜索引擎支持此指令。对于网站性能优化，建议在服务器端通过限速来控制爬取频率。
robots.txt 对 SEO 有什么影响？
正确配置 robots.txt 对 SEO 至关重要：① 防止抓取浪费 — 阻止爬虫抓取无意义页面（后台、搜索页、筛选结果），将抓取预算集中在核心内容上；② 避免重复内容 — 屏蔽打印版本、归档页面等可能产生重复内容的路径；③ 保护隐私 — 虽非安全措施，但可减少敏感目录暴露；④ Sitemap 发现 — 在 robots.txt 中声明 Sitemap 位置有助于搜索引擎快速发现站点地图。
常见的 robots.txt 配置错误有哪些？
① 路径缺少前导 / — 如 Disallow: admin 应为 Disallow: /admin（缺少/可能不生效）；② 大小写混淆 — URL 路径通常区分大小写，/Admin 和 /admin 是不同的；③ 依赖 robots.txt 保护敏感数据 — robots.txt 不能替代安全措施；④ 忘记 Allow 例外 — 使用 Disallow 屏蔽整个目录时，需要单独 Allow 关键页面（如登录页）；⑤ 在 Disallow 路径末尾多余空格 — 可能导致规则失效。
本工具在浏览器本地完成所有解析与匹配，不会上传您的 robots.txt 内容。模拟结果基于 Google 扩展的 Robots Exclusion Protocol 规范。
🔧 相关工具