澎湃新闻
建议关闭该功能,或至少确保缓存过期时间较短(如30分钟以内)
边缘缓存TTL :设置为较短时间(如30秒到5分钟),确保百度蜘蛛每次抓📚取到的版本尽可能新
开启Cloudflare时对百度蜘蛛的必要设置 调整安全等级 :在Cloudflare的“安全性”设置中,将安全等级设为“低”或“本质上关闭”
开启“始终在线”功能并谨慎使用 💫:Cloudflar👍e的“始终在线”功能会在源站离线时提供缓存的旧页面
但对于百度蜘蛛而言,如果Cloudflare的防火墙规则(如“浏览器完整性检查”“安全等级”设置过高🤔)误拦截了蜘蛛IP,或者缓存规则导致新内容无法及时更新,就会👍出现抓取失败或索引延迟
应检查Cloudflare的“自动缓存清除”是否未正确触发,或页面规则被设为了默认缓存