北京日报
建议站长在CDN后台执行以下操作: 配置蜘蛛回源策略: 在CDN的访问控制规则中,设置当User-Agent为Baiduspider时,强制其直接回源站,不经过CDN缓存节点
不建议对蜘蛛进行跳转:🎨 部分CDN配置了地域性302跳转,这种跳转对蜘蛛并不友好
识别与放行:让蜘蛛直达🎆源站或经过最优节点 百度蜘蛛通常带有特定的User-Agent标记,例如“🎇Baiduspider”以及特定的IP段
经过上述配置,蜘蛛依然能够像没有CDN时一样抓取内容,甚至因为源站负载降低,响应速度反而更稳定