robotstxt 是什么?网站 SEO 与爬虫抓取必读指南

📍 WDQWDWQD987AAAAA:216.73.216.186
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /5077b1167627.html
📄

robotstxt(即 robots.txt)是网站根目录下的纯文本协议文件,用于告诉搜索引擎蜘蛛哪些页面可以抓取、哪些目录应当避开。它虽然不强制生效,却是爬虫抓取管理与网站 SEO 的基础设施。合理配置 robotstxt,既能保护后台与隐私目录,也能引导蜘蛛优先收录核心内容。

robotstxt 的核心语法

文件通常由若干记录组成,每条记录包含 User-agent(指定爬虫)、Disallow(禁止路径)、Allow(允许路径)和 Sitemap(站点地图地址)。例如:

robotstxt 的常见误区

首先,robotstxt 不是安全工具,它无法阻止恶意程序访问私密页面,敏感内容应使用登录鉴权或加密保护。其次,Disallow 只是禁止抓取,并不保证页面不被索引;若想彻底移除,应配合 noindex 标签或删除页面。再次,规则顺序和通配符会影响匹配结果,配置错误可能导致整站被误屏蔽。

robotstxt 的优化建议

  1. 只拦截无价值的后台、搜索参数页和重复内容,避免误伤 CSS、JS 与图片资源。
  2. 为重要栏目设置 Allow 规则,减少抓取预算浪费。
  3. 在文件末尾添加 Sitemap 地址,帮助蜘蛛发现新页面。
  4. 使用搜索引擎的 robots 测试工具验证规则,并定期检查抓取报告。

总之,robotstxt 是网站与搜索引擎之间的沟通契约。保持规则简洁、准确,并配合 sitemap 与内链策略,才能让爬虫抓取效率与收录效果同步提升。

图1 图2

nginx