百度搜索引擎爬虫常见的User-Agent列表

了解这些User-Agent，可以⭐帮助你在服务器日志中准确识别流量来源

了解搜索引擎爬虫的User-Agent，是SEO优化的重要基础

百度的爬虫📌（通常称为Baiduspider）在访问网站时，会通过 User-Agent （用户代理）字段向服务器表明自己的身份

只有同时匹配User-Agent和反向DNS记录的访问，才应被🔍视为官方爬虫

建议新手每隔半年查阅百度官方发布的最新文档，或者在站长工具后台查看“抓取异常”报告，对比✨当前爬🌅虫使用情况

如何确认爬虫身份的真实性？

Baiduspider（通用版） ：最基础的爬虫，覆盖绝大部分网页抓取工作

以下是一个简单的对照参考： User-Agent 推荐robots规则 说明 Baiduspider Disallow /admin/ 禁止爬取后台管理页面，保护敏感信息 Baiduspider-image Allow /images/ 允许图片爬虫访问图库，利于图片排名 Baiduspider-mobile Sitemap: /mobile-sitemap

实用建议：定期更新你的爬虫清单

txt 文件，针对不同User-Agent设置抓取规则，允许爬虫抓取重要内容，屏蔽低价值页面

txt后爬虫不会立刻重新访问，一般需要等待几小时到几天生效