节流与收录的平衡

例如： User-agent: Baiduspider Crawl-delay: 10 该设置表示爬虫每次请求后至少等待10秒再进行下一次请求

常见误区提醒

为什么需要节流爬虫请求 百度爬虫（Baiduspider）在抓取页面时，会💎依据站点权重、更新频率和服务器响应情况动🔮态调整请求密度

通常提供“快速”“普通”“慢速”🎯三档，或允许自定义每秒请求数