robots.txt规则详解：语法、优先级与常见配置错误

📍 WDQWDWQD987AAAAA:216.73.216.186
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /63d4611bd5e8.html
📄

robots.txt规则是搜索引擎爬虫访问网站时首先读取的协议文件，它通过简单的文本指令告诉爬虫哪些路径可以抓取、哪些应当避开。正确理解并配置robots.txt规则，直接影响网站的收录效率与SEO表现。

robots.txt规则的基本语法

一个标准的robots.txt文件由若干条记录组成，每条记录包含一个User-agent字段和若干条规则字段。常见规则包括：

• User-agent：指定规则适用的爬虫名称，如Googlebot、Baiduspider，使用星号表示所有爬虫。
• Disallow：禁止爬虫抓取的路径，空值表示允许全部抓取。
• Allow：显式允许抓取的路径，常用于在Disallow范围内开放特定目录。
• Sitemap：声明网站地图地址，帮助爬虫发现重要页面。

规则匹配与优先级

robots.txt规则采用前缀匹配方式，路径越长通常优先级越高。当Allow与Disallow同时匹配同一URL时，爬虫一般遵循更具体的规则；若长度相同，则Allow优先。需要注意的是，不同搜索引擎对通配符和结束符的支持存在差异，配置时应尽量使用简单明确的路径。

常见配置错误

1. 误用Disallow: /屏蔽整站，导致页面无法被收录。
2. 在规则中写入完整URL而非相对路径，造成匹配失效。
3. 多个User-agent组之间缺少空行，导致规则被错误合并。
4. 依赖robots.txt隐藏敏感内容，实际上它只是建议性协议，不能替代访问控制。

建议在修改robots.txt规则后，使用搜索引擎官方工具进行测试，并定期检查文件是否可正常访问。合理的robots.txt规则既能保护服务器资源，又能引导爬虫高效抓取核心内容。