蜘蛛池IP池的根本作用

分散抓取的时间窗口 避免让所有IP在同一时刻发起请求

蜘蛛池IP池的根本作用

当检测到短时间内大量请求来自相同或相近IP段时，系统可能触发自动封禁策略

百度除了监测IP本身的请求量，还会分析每个IP的 请求时间间隔、User-Agent、Accept-Language 等HTTP头信息