百度蜘蛛池与Cloudflare CDN加速的正确配置方法



建议关闭该功能,或至少确保缓存过期时间较短(如30分钟以内)



边缘缓存TTL :设置为较短时间(如30秒到5分钟),确保百度蜘蛛每次抓📚取到的版本尽可能新



百度蜘蛛池与Cloudflare CDN加速的正确配置方法



开启Cloudflare时对百度蜘蛛的必要设置 调整安全等级 :在Cloudflare的“安全性”设置中,将安全等级设为“低”或“本质上关闭”



开启“始终在线”功能并谨慎使用 💫:Cloudflar👍e的“始终在线”功能会在源站离线时提供缓存的旧页面



百度蜘蛛池与Cloudflare CDN加速的正确配置方法



但对于百度蜘蛛而言,如果Cloudflare的防火墙规则(如“浏览器完整性检查”“安全等级”设置过高🤔)误拦截了蜘蛛IP,或者缓存规则导致新内容无法及时更新,就会👍出现抓取失败或索引延迟



应检查Cloudflare的“自动缓存清除”是否未正确触发,或页面规则被设为了默认缓存



举报/反馈