Sitemap链接提取器 - 从XML解析所有URL

Sitemap（站点地图）是一个 XML 文件，列出了网站中所有重要的页面 URL，帮助搜索引擎（如 Google、Bing）更高效地抓取和索引网站内容。它就像是网站的"目录"，告诉搜索引擎哪些页面存在、哪些页面最近更新了。

对于 SEO 而言，Sitemap 至关重要：它能确保搜索引擎发现所有重要页面（尤其是深度页面或孤立页面），提高索引覆盖率，并加速新内容的被发现速度。

标准 Sitemap 遵循 sitemaps.org 协议，XML 格式如下：

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/</loc>
    <lastmod>2024-01-15</lastmod>
    <changefreq>daily</changefreq>
    <priority>1.0</priority>
  </url>
</urlset>

其中 <loc> 是必填项（URL 地址），<lastmod>、<changefreq>、<priority> 为可选项。还存在 Sitemap 索引文件（<sitemapindex>），用于包含多个子 Sitemap。

常见查找方式：

1. 常见路径：尝试访问 /sitemap.xml、/sitemap_index.xml、/sitemap/
2. robots.txt：查看 /robots.txt 文件，通常包含 Sitemap: https://example.com/sitemap.xml
3. Google Search Console：在 GSC 中提交和查看 Sitemap
4. CMS 自动生成：WordPress（通过 Yoast SEO 等插件）、Shopify 等平台会自动生成 Sitemap

找到 Sitemap URL 后，可直接在本工具中输入 URL 进行抓取（注意可能的 CORS 限制），或复制 XML 内容粘贴解析。

当网站页面非常多时，单个 Sitemap 文件会过于庞大。Sitemap 协议规定单个 Sitemap 文件最多包含 50,000 个 URL，且未压缩时文件大小不超过 50MB。因此大型网站会使用 Sitemap 索引文件（根元素为 <sitemapindex>），其中包含多个子 Sitemap 的链接。

本工具会自动识别 Sitemap 索引文件，展示所有子 Sitemap 链接。在 URL 模式下，您还可以点击「加载」按钮递归抓取子 Sitemap 中的 URL。

浏览器的同源策略会阻止从一个域名向另一个域名发起 AJAX 请求，除非目标服务器明确允许（返回 Access-Control-Allow-Origin 头）。大多数网站的 Sitemap 文件并未设置 CORS 头，因此直接 fetch 会失败。

解决方案：① 使用「粘贴 XML」方式，手动复制 Sitemap 内容；② 使用「上传文件」方式；③ 通过后端代理或 CORS 代理服务中转请求；④ 使用浏览器扩展暂时禁用 CORS（仅限开发调试）。

提取的 URL 列表有多种用途：

• SEO 审计：对比 Sitemap 中的 URL 与实际可访问的页面，发现死链或缺失页面
• 竞品分析：分析竞争对手的网站结构和内容覆盖
• 内容盘点：统计网站页面数量，了解内容规模
• 批量处理：导出 URL 列表用于批量检测、监控或其他自动化工具
• 迁移验证：网站迁移前后对比 URL 结构是否完整