robots.txt写法详解:从基础到高级的完整指南

📍 WDQWDWQD987AAAAA:216.73.216.26
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /da6e810bc081.html
📄

robots.txt是网站与搜索引擎爬虫沟通的重要文件,正确的写法能有效控制抓取行为。本文将全面解析robots.txt的写法,助你优化网站SEO。

什么是robots.txt?

robots.txt是一个纯文本文件,位于网站根目录,用于告知爬虫哪些页面可以抓取,哪些不能。它是爬虫协议的一部分,但并非所有爬虫都会遵守。

robots.txt基本写法

文件由若干条记录组成,每条记录以User-agent开头,后跟Disallow或Allow指令。例如:

上述写法表示禁止所有爬虫抓取/admin/目录,但允许抓取/public/目录。

常用指令详解

User-agent

指定规则适用的爬虫,*代表所有爬虫。可以针对特定爬虫如Googlebot设置不同规则。

Disallow

禁止抓取的路径。Disallow: /表示禁止抓取整个网站;Disallow:(留空)表示允许抓取所有。

Allow

允许抓取的路径,通常与Disallow配合使用,用于排除特定目录。

Sitemap

可添加Sitemap地址,帮助爬虫发现网站页面,写法:Sitemap: https://www.example.com/sitemap.xml

高级写法技巧

常见错误与注意事项

掌握robots.txt写法,能更精细地控制爬虫抓取,提升SEO效果。建议定期检查并更新规则。

图1 图2

nginx