robots.txt 完整配置指南：语法规则与避坑要点

📍 WDQWDWQD987AAAAA:216.73.216.115
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /4181ee3e5c81.html
📄

robots.txt 是位于站点根目录的一个纯文本文件，用于指示搜索引擎爬虫哪些页面应当被访问、哪些应当被忽略。合理配置能够节约服务器抓取资源，保护敏感或低价值页面；而配置错误则可能引发整站索引异常。掌握其语法与匹配机制，是网站技术运营的基础能力。

1. 文件定位：能做什么，不能做什么

该文件本质上是与搜索引擎爬虫达成的非强制协议，主流搜索引擎均会遵守，但它不具备任何安全防护作用。它的适用场景主要包括：第一，屏蔽后台管理页面、测试环境或临时目录，避免其进入搜索结果；第二，拦截带有大量查询参数的动态地址，减少无效抓取对服务器造成的压力；第三，在文件中声明 Sitemap 的位置，加速新页面的发现与收录。

必须清醒认识到，robots.txt 内容对所有互联网用户公开可见。任何涉及用户隐私、登录凭证或内部数据的路径，绝不能依赖此文件进行保护，应当使用密码认证、IP 访问限制等更可靠的安全机制。

2. 五大基础字段：规则配置的核心模块

robots.txt 的格式极为简洁，每行以“字段: 值”的结构呈现，字段名不区分大小写，但路径取值严格区分大小写。以下五个字段足以覆盖绝大多数配置需求。

2.1 字段功能详解

• User-agent：指定该组规则所针对的爬虫名称，如 Googlebot、Bingbot；使用星号 (*) 则代表匹配所有未被单独指定的爬虫。
• Disallow：规定禁止抓取的路径；若其值为正斜杠 (/)，表示禁止所有爬虫访问整个网站。
• Allow：作为例外放行指令，用于在禁止抓取的目录中，单独开放某个文件或子路径。
• Crawl-delay：建议爬虫在两次抓取请求之间等待的秒数，用于降低服务器负载，但各引擎对该指令的支持程度存在差异。
• Sitemap：填写站点地图的完整 URL，便于蜘蛛快速定位内容。

2.2 实际配置示例

假设网站存在 /backend/ 目录需要整体屏蔽，但其中的 /backend/login.html 页面需要被正常收录，同时还需提交 Sitemap，可参照以下写法：

User-agent: *
Disallow: /backend/
Allow: /backend/login.html
Sitemap: https://www.example.com/sitemap.xml

该配置的意图是：默认拒绝抓取 backend 目录下的所有内容，但对登录页面单独放行，并向爬虫告知站点地图的位置。

3. 匹配机制：从前缀规则到优先级判定

理清匹配顺序是避免配置失效的关键。爬虫读取该文件后，会先找到与当前爬虫名称对应的 User-agent 分组，然后在该分组内，将请求的 URL 路径与各条规则从上到下进行比对。

匹配过程遵循两条基本原则：一是最长匹配优先，即选择匹配字符数量最多的规则生效；二是Allow 优先于 Disallow，当两条规则的匹配长度相同时，放行指令具有更高优先级。例如同时配置“Disallow: /data”和“Allow: /data/”时，对 /data/page 的访问请求会被拒绝，而对 /data/page/ 的请求则会因 Allow 规则匹配字符更多而被允许。

在实际配置时，建议将更具体的路径放在前面，并定期检查规则是否与预期一致，避免因字符匹配层级问题导致页面被意外拦截。

4. 通用与定向规则：灵活控制爬虫行为

通过在 User-agent 字段中指定不同的爬虫名称，可以为不同搜索引擎设置差异化的抓取策略。例如统一允许所有爬虫抓取，但单独限制某个特定爬虫的访问频率或路径范围。

示例配置：

User-agent: *
Disallow: /private/

User-agent: Bingbot
Disallow: /

上述配置的含义是：对于所有未单独声明的爬虫，仅禁止 /private/ 目录；而对于 Bingbot，则完全禁止抓取整站内容。这种分层配置方式，能够根据实际运营需求灵活管理不同爬虫的访问权限。

需要注意，一个空白的 User-agent 值或未配置任何规则的站点，等同于允许所有爬虫访问全部公开内容。同时，确保每个搜索引擎分组之间使用空行分隔，以保证规则识别正确。

5. 高频错误与诊断方法

在文件编写过程中，以下几类错误最为常见，容易导致预期之外的索引结果。

• 字符集问题：文件必须保存为 UTF-8 编码（无 BOM），中文注释或路径若编码错误，会造成规则无法识别。
• 路径误写：漏写开头的斜杠，或未考虑路径大小写，会导致规则匹配失效或误伤其他目录。
• 滥用 Disallow: /：该写法会直接阻断整站收录，除非确有必要临时下线网站，否则应避免使用。
• 规则分组混乱：多个 User-agent 分组之间的顺序颠倒或缺少空行，会导致规则归属不清，影响解析。

当发现页面收录异常时，可通过浏览器直接访问“域名/robots.txt”查看当前生效的规则文件，检查内容是否与预期一致。此外，利用搜索引擎站长工具中的“robots 测试”功能，可以模拟特定页面，直观查看其是否被允许抓取，从而快速定位问题所在。

6. 常见问题

6.1 robots.txt 能阻止搜索引擎索引我的网页吗？

不能。它只负责告知爬虫“不要抓取某些页面”，但如果页面已被其他外部链接指向，搜索引擎仍可能将其收录。若想彻底移除页面索引，应结合使用 noindex 标签或密码保护手段。

6.2 修改 robots.txt 后，多久能生效？

通常情况下，搜索引擎爬虫会定期重新获取该文件，短则数小时，长则数天。值得注意的是，若原文件曾禁止抓取某路径，修改内容后，搜索引擎需要重新发现并抓取该路径下的页面，这一过程消耗的时间可能更长，需要耐心等待。

6.3 Crawl-delay 指令对所有搜索引擎都有效吗？

并非如此。例如 Google 官方已明确表示忽略此指令，而 Bing 等部分搜索引擎仍会参考。如果希望通过降低抓取频率来保护服务器，建议通过站长工具后台的抓取速率设置进行调整，这比文件指令更为可靠。

7. 总结

robots.txt 是一套轻量但精确的规则体系，正确使用能有效引导爬虫行为，优化站点抓取效率。建议从梳理站内目录结构入手，明确必须公开、需要屏蔽和可以放行的三类路径，再依据本文提及的匹配原则编写配置，并借助站长工具定期校验规则结果。将此文件纳入日常站点维护流程，能显著降低索引异常的发生概率。