中国青年报
这里的“间隔”通常指❤️的是服务器在响应同一IP(如百度的爬虫地址)的连续🤔请求之间,主动设定的延迟时间
如果抓取量长期低于预期,且服务器负载较低,可以尝试将间隔缩短1-2🌟秒💎,再次观察
常用的参数包括 Crawl-Delay 指令🌈,该指令在以百度爬虫 Baiduspider 为用户代理(User-agent)时会生效
设为首页
关于百度
About Baidu
使用百度前必读
帮助中心
© Baidu
京ICP证030173号
京公网安备11000002000001号