中国青年报
no-cache :并非禁止缓存,而是要求每次使用资源前必须向服务器验证其有效性
确保在修改配置后,清除 CDN 或浏览器缓存进行验证
no-store :严格禁止任何形式的缓存,适用于敏感数据
max-age :指定缓存的有效时间,单位为秒,例如 max-age=3600 表示缓存 1 小时
站长需要掌握以下几个核心指令: public :💪表示响应可以被任何中间缓存(如 CDN、代理服务器)缓存,适✨用于静态资源
百度蜘蛛目前对移动端站点更为💎友💡好,建议对移动版资源单独配置
txt 中允许蜘蛛抓取;对于动态参数过多的 URL,则建议屏蔽以避免浪费资源
HTML 页面 :对于内容更新较频繁的首页、列表页,可设置为 private, no-cache, max-age=0 ,确保蜘蛛每次请求都能获取最新内容
对于几乎不变的文章页,可适🎇度设置为 public, max-ag📌e=86400 (缓存一天)
实战配置示例 不同 Web 服务器的配置方式有所差异,以下给出 Nginx 和 Apache 的常见配置片段: Nginx 配置 :在 s💪erver 或 location 块中使用 add_header Cache-Control "public, max-age=31536000";
private :仅允许浏览器缓存,不允许中间缓存,适🌈用于包含用户隐私的页面
这类资源变动频率低,长缓存时间可显著提升蜘蛛抓取速度
CDN 加速 :如果网站使用了 CD🎊N,通常可⚡在 CDN 控制台设置更细致的缓存规则,建议将 CDN 的缓存策略与源站统一