南方都市报
但百度蜘蛛使用的User-Agent格式为 Moz💡illa/5
伪装请求头时要注意的关键点 User-Agent必须真实且完整 :不应随意拼写或省略数字,例如百度蜘蛛的版本号、括号内的声明信息都需要保留
html)" http✅s://你的域名/测试页面 观察返回状态码和页面内容是否与预期一致
html) ,而该网站配置的规则过于严格,误将这部分合法🔥爬虫一并拦截
在本地或测试环境中,用Curl命令携带同📚样的请求头发起访问:📚 curl -A "Mozilla/5
0 (co💡mpatible; Baiduspider/2