为什么需要关注User-Agent

html) 搜狗 Sogou web spider/4

htm) 神马 YisouSpider 注意 ：上述UA可能会💫随搜索引擎版本更新而变化，建议定期从各搜索引擎官方文档获取最新列表

百度系爬虫的核心User-Agent

Baidusp💡ider-news ：新闻搜索爬虫

其他常用搜索引擎的User-Agent

Baiduspider-cpro ：百度联盟相关爬虫

txt 配置要具体 ：不要只写一条“Disallow: /”拒绝所有爬虫

例如百度图片爬虫可以访问图片文件❤️夹，但禁止✨抓取后台目录

一个简单的入门配置思路

百度官方会❤️公布爬虫IP段，建议通过反向DNS解析验证：将IP反向解析为*

新手容易忽略的3个操作细节

百度系爬虫的核心User-Agent 以下是百度的主要爬虫标识，建议优先配置： Baiduspider ：PC端网页搜索爬虫，这是最常用的UA

Baiduspider-ima📌ge ：百度图片搜索爬虫

如果你的站点使用了百度联✅盟广告，这个UA需要放行