中国网
它的核心逻辑是:用户请求先到🍀达一台💡“调度服务器”,调度器再根据预设算法(如轮询、最少连接、IP哈希等)将请求转发到后端某台真实服务器
百度蜘蛛在抓取时🎨,本质上也是一个“用户请求”
而站内负载均衡通常是在同一机房内部的多台服务器之间▶️做流量调度
如果百度蜘蛛的出口IP较多且分布不均衡,可能导致某台后端服务器的负载远高于其他服务器
如果在Nginx层面使用ip_hash,哈希对象实际上是CDN节点的IP,而非蜘蛛IP
常见的解决办法是:在CDN侧开启“源站IP透传”功能(如通过X-F☀️orwarded-For头),让后端服务器基于蜘蛛实际IP做哈希,或者干脆在CDN层直接静态缓存HTML页面,从根源上避免抓取差异