robots.txt写法详解:从基础到高级的完整指南
📍 WDQWDWQD987AAAAA:216.73.216.26
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /da6e810bc081.html
📄
robots.txt是网站与搜索引擎爬虫沟通的重要文件,正确的写法能有效控制抓取行为。本文将全面解析robots.txt的写法,助你优化网站SEO。
什么是robots.txt?
robots.txt是一个纯文本文件,位于网站根目录,用于告知爬虫哪些页面可以抓取,哪些不能。它是爬虫协议的一部分,但并非所有爬虫都会遵守。
robots.txt基本写法
文件由若干条记录组成,每条记录以User-agent开头,后跟Disallow或Allow指令。例如:
- User-agent: *
- Disallow: /admin/
- Allow: /public/
上述写法表示禁止所有爬虫抓取/admin/目录,但允许抓取/public/目录。
常用指令详解
User-agent
指定规则适用的爬虫,*代表所有爬虫。可以针对特定爬虫如Googlebot设置不同规则。
Disallow
禁止抓取的路径。Disallow: /表示禁止抓取整个网站;Disallow:(留空)表示允许抓取所有。
Allow
允许抓取的路径,通常与Disallow配合使用,用于排除特定目录。
Sitemap
可添加Sitemap地址,帮助爬虫发现网站页面,写法:Sitemap: https://www.example.com/sitemap.xml
高级写法技巧
- 使用通配符*匹配任意字符,如Disallow: /*.pdf$禁止所有PDF文件。
- 使用$匹配URL结尾,如Disallow: /*.php$禁止所有PHP页面。
- 注意规则顺序:Allow和Disallow按长度优先匹配,而非顺序。
常见错误与注意事项
- 文件必须命名为robots.txt,且放在根目录。
- 避免使用中文或特殊字符,确保UTF-8编码。
- 不要屏蔽CSS和JS文件,以免影响渲染。
- 测试写法:使用Google Search Console的robots.txt测试工具。
掌握robots.txt写法,能更精细地控制爬虫抓取,提升SEO效果。建议定期检查并更新规则。