为什么爬虫需要伪装User-Agent

注意： 任何伪装手段都不能完全保证不被封禁

百度等平台的反爬机制会不断升级，⚡合理的伪装只能降低被封的概率，无法做到零封禁

常见浏览器User-Agent参考

百度等搜索引擎会识别出异常请求特征，当发现请求头中携带诸如“Python-urllib”或“Scrapy”等非🎯🌈浏览器标识时，很容易触发反爬机制

36 Firefox 121 (Windows) Mozilla/5

0; Win64; x64❤️; rv:121