参考消息
如果IP变动过于频繁,蜘蛛可能因为连接失败而降低🎯对网站的抓取频率
部署时可以考虑: 使用 固定公网IP的负载均衡器 接入,后端微服务实例变化对外层不可见
在服务注册与发现组件中,针对爬虫流量做 亲和性路由 ,同一蜘蛛IP尽量转发到同一后端实例,避免因会话不一致导致的重定向问题
设为首页
关于百度
About Baidu
使用百度前必读
帮助中心
© Baidu
京ICP证030173号
京公网安备11000002000001号