人民日报
百度搜索引擎及其他网站为了保护数据安全,会拦截那些看起来像自动化工具的请求
因此,关键第一步是放弃默🎇认UA,改用来自真实浏览器的字符串
常见可用的UA包括: 最新版Chrome(Windows / macOS / Linux) 最新版Firefox(Windows / macOS) 最新版Edge(Windows) 移动端Safari(iOS)或Android版Chrome 获取后,可以用在线工具检测该UA是否被认为是“机器人”或“非主流浏览器”
第三步:在代码或工具中设置UA 无论是使用编程语言编写爬虫,还是使用现成的采集工具,都应将第一步获取的UA字符串设置为请求头中的User-Agent字段
如果遇到严格的防💡护机制,可能还需要: 添加Referer头 :通常设置为百度首页或目标站点的首页