robots.txt规则详解：如何正确配置与常见误区

📍 WDQWDWQD987AAAAA:216.73.216.186
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /13043ae7856b.html
📄

robots.txt规则是网站与搜索引擎爬虫沟通的第一道桥梁。正确配置robots.txt规则，既能引导爬虫高效抓取核心页面，也能避免敏感目录被意外索引。然而，许多站点因规则书写不当，导致收录异常甚至流量损失。

robots.txt规则的基本语法

robots.txt是一个纯文本文件，通常放置在网站根目录。其核心指令包括：

• User-agent：指定规则适用的爬虫名称，如Googlebot、Baiduspider，使用*表示所有爬虫。
• Disallow：禁止爬虫访问的路径，留空表示允许所有。
• Allow：在Disallow基础上允许访问特定路径，常用于例外配置。
• Sitemap：声明站点地图地址，帮助爬虫发现页面。

每条规则由指令和值组成，冒号后紧跟路径，路径区分大小写，且支持通配符*和结尾$。

常见配置误区与建议

误区一：使用Disallow: /屏蔽全站。这会阻止所有爬虫抓取，导致页面从搜索结果中消失。若需临时屏蔽，建议使用noindex元标签。

误区二：规则冲突。当Allow与Disallow同时匹配同一路径时，爬虫通常遵循最长匹配原则。建议保持规则简洁，避免多层嵌套。

误区三：忽略大小写。路径/Admin与/admin在robots.txt规则中被视为不同路径，配置时需与实际目录一致。

实用配置示例

以下规则允许所有爬虫访问，但禁止抓取后台和临时目录，同时声明站点地图：

1. User-agent: *
2. Disallow: /admin/
3. Disallow: /tmp/
4. Allow: /admin/public/
5. Sitemap: https://www.example.com/sitemap.xml

配置完成后，建议使用搜索引擎官方工具测试robots.txt规则，确保爬虫按预期抓取。定期审查规则，随网站结构调整及时更新，才能让robots.txt规则真正服务于SEO目标。