Robots.txt 规则详解：从基础语法到配置避坑指南
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /f836b2eca53c.html
📄
当搜索引擎爬虫访问你的网站时，首先会查看根目录下的 robots.txt 文件，以此了解哪些内容可以抓取、哪些应被忽略。合理配置这个文件，能有效保护后台数据、降低服务器压力，并加快重要页面的收录速度。本文将围绕实际应用场景，系统讲解其语法结构和配置要点。
1. 基础语法与文件存放规则
robots.txt 必须放置在网站域名根目录下，通过 https://域名/robots.txt 即可直接访问。文件内容以行为单位，每行由指令和值组成，常见的指令包括 User-agent、Disallow、Allow 和 Sitemap。
- User-agent：用于指明规则所适用的爬虫名称，使用星号（*）代表所有爬虫。
- Disallow：用来禁止访问的路径，若留空则意味着允许抓取整个站点。
- Allow：在禁止的范围内单独放行某些路径，但并非所有爬虫均支持该指令。
- Sitemap：声明站点地图的绝对地址，辅助爬虫更快定位内容。
一个最简单的允许全站抓取的配置示例如下：
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml
需要留意的是，每条指令需独占一行，且冒号后应保留一个空格。路由匹配遵循前缀原则，例如 Disallow: /shop 会同时屏蔽 /shop 和 /shop/index.html。
2. 常见场景的配置方案
不同的业务需求对应不同的规则组合，以下列举几种高频应用场景的写法与判断依据。
2.1 完全屏蔽所有爬虫
当站点处于开发阶段或需要临时下线时，可在文件中写入：
User-agent: *
Disallow: /
此配置会拒绝所有爬虫对任意路径的访问。建议同时配合 HTTP 状态码 503 使用，避免搜索引擎因频繁抓取而降低站点权重。
2.2 禁止特定目录但放行其他路径
若仅需拦截后台或用户隐私目录，可针对性地列出禁止路径。例如阻止 /admin/ 和 /cart/ 目录的抓取：
User-agent: *
Disallow: /admin/
Disallow: /cart/
此处不建议混用 Allow: /，因为部分爬虫对 Allow 的解析存在差异。最稳妥的方式是只声明需要限制的目录，其余路径默认视为可抓取。验证方法：将配置放入 Google Search Console 的 robots 测试工具，检查实际封禁效果是否符合预期。
2.3 为不同爬虫定制差异化规则
大型站点常针对不同搜索引擎设置访问权限。例如希望 Googlebot 全站抓取，但对其他爬虫禁止访问静态资源：
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /assets/
Disallow: /uploads/
书写顺序至关重要：必须先将特定爬虫的规则置于文件顶部，随后才是通配规则。爬虫会自上而下寻找与自己名称匹配的第一组指令，因此顺序颠倒会导致针对性规则失效。
3. 编写时的注意事项与常见误区
许多站长在配置中疏忽细节，导致爬虫行为异常或站点内容意外泄露，以下几点值得特别关注。
- 文件体积上限：单个 User-agent 组内的规则行数不宜超过 500 行，整体文件建议控制在 32KB 以内，超出部分可能被爬虫忽略。
- 大小写敏感：路径区分大小写，Disallow: /Products 与 /products 被视为两个不同路径，建议统一使用小写并保持目录命名规范。
- 避免用其保护敏感数据：robots.txt 只是君子协定，无法替代访问权限控制。付费内容或用户个人信息应依赖登录验证等后端机制，而非单纯靠屏蔽爬虫。
- 慎用 Allow：该指令存在兼容性短板，若确需在禁止范围内放行路径，务必在本地测试主流爬虫的响应结果。
此外，修改文件后应定期通过站长平台查看抓取异常报告，留意是否存在因规则冲突导致的页面误封。
4. 进阶技巧：规则匹配与优先级
当同一路径同时命中 Disallow 和 Allow 时，爬虫依据规则的出现顺序及长度决定最终结果。一般而言，较长且更具体的路径优先于短路径生效。
举例说明：
User-agent: *
Disallow: /private/
Allow: /private/public/
上述规则表示禁止抓取 /private/ 目录，但其中 /private/public/ 子目录被单独放行。实际运用中，优先采用长路径精确匹配，减少模糊规则带来的认知负担。若不确定结果，可通过 curl 命令模拟抓取请求，查看返回的 X-Robots-Tag 头部信息辅助判断。
5. 常见问题
5.1 修改 robots.txt 后，已收录的页面多久会消失？
该文件仅影响爬虫后续的抓取行为，并不直接删除已有索引。已收录的页面需等待搜索引擎爬虫再次访问并识别新的拒绝规则后，才会逐步从索引中移除，这个过程可能需要数日到数周不等。若需快速清除，应结合站点地图排除或使用 noindex 标签。
5.2 文件中可以同时写多个 Sitemap 指令吗？
可以。在一个 robots.txt 文件中允许多次出现 Sitemap 行，每条对应一个独立的 XML 地图文件地址。这样做适用于多语言站点或内容分类较为复杂的大型网站，方便爬虫按模块获取最新 URL 列表。
5.3 屏蔽爬虫真能防止内容被采集吗？
不能。心怀不轨的采集者完全无视 robots.txt 协议，其约束力仅对遵守规范的搜索引擎爬虫有效。保护原创排版和独特数据，更可靠的方式是通过 IP 访问频率限制、验证码以及动态渲染等技术手段加固防线。
6. 总结
编写 robots.txt 的关键在于理解其协议本质：它面向的是搜索引擎爬虫，而非用户或安全防线。建议始终从具体业务场景出发，先用最小的规则集解决当前问题，再借助站长工具验证效果。同时建立定期复查机制，确保规则与站点结构调整保持同步，如此既能提升抓取效率，也能避免不必要的资源浪费。
