robotstxt 是什么?网站 SEO 与爬虫抓取必读指南
📍 WDQWDWQD987AAAAA:216.73.216.186
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /5077b1167627.html
📄
robotstxt(即 robots.txt)是网站根目录下的纯文本协议文件,用于告诉搜索引擎蜘蛛哪些页面可以抓取、哪些目录应当避开。它虽然不强制生效,却是爬虫抓取管理与网站 SEO 的基础设施。合理配置 robotstxt,既能保护后台与隐私目录,也能引导蜘蛛优先收录核心内容。
robotstxt 的核心语法
文件通常由若干记录组成,每条记录包含 User-agent(指定爬虫)、Disallow(禁止路径)、Allow(允许路径)和 Sitemap(站点地图地址)。例如:
- User-agent: *:面向所有搜索引擎蜘蛛
- Disallow: /admin/:阻止抓取后台目录
- Allow: /admin/public/:放行后台中的公开资源
- Sitemap: https://example.com/sitemap.xml:声明站点地图位置
robotstxt 的常见误区
首先,robotstxt 不是安全工具,它无法阻止恶意程序访问私密页面,敏感内容应使用登录鉴权或加密保护。其次,Disallow 只是禁止抓取,并不保证页面不被索引;若想彻底移除,应配合 noindex 标签或删除页面。再次,规则顺序和通配符会影响匹配结果,配置错误可能导致整站被误屏蔽。
robotstxt 的优化建议
- 只拦截无价值的后台、搜索参数页和重复内容,避免误伤 CSS、JS 与图片资源。
- 为重要栏目设置 Allow 规则,减少抓取预算浪费。
- 在文件末尾添加 Sitemap 地址,帮助蜘蛛发现新页面。
- 使用搜索引擎的 robots 测试工具验证规则,并定期检查抓取报告。
总之,robotstxt 是网站与搜索引擎之间的沟通契约。保持规则简洁、准确,并配合 sitemap 与内链策略,才能让爬虫抓取效率与收录效果同步提升。