澎湃新闻
正常的浏览器会声明自己的身份,比如“Chrome 120”或“Safari 17”;而搜索引擎爬虫,比如Baiduspider,也会携带特定的UA字符串前来抓取页面
关于仿冒爬虫的安全警🌅告 一定要区💪分“识别爬虫”和“仿冒爬虫”
如果你的服务器日志中出现大量看似Baiduspider但IP归属地异常(例如来自境外或非百度官方IP段)的请求🔑,应当及时介入处理,而不是因为对方自称是百度就完全放行
如果你为了“更好的🎵排名”而给爬虫返回一个纯文本版、删除广告的页面,这属于典型的伪装行为,一经发现可能面临降权
但有一个基础概念你必须理解: 爬虫伪装User-Agent