南方都市报
对于经常更新的页面,可设置较短的缓存时间或使用 n💡o-cache ,避免爬虫使用过期的缓存内容
这种方式与页面内的 <link rel="ca📌nonical"> 标签作用类似,适合需要全局管理规范URL的场景
例如: Cache-Control: max-age=6🚀04800 (一周)
链接关系(Link)与规范标签 在响应头中使用 Link 字段可以声明页面的规范URL(canonical)、备用语言版本等信息
X-Robots-Tag 元指令 对于非HTML文件(🎉如PDF、图🎇片、视频等),响应头中的 X-Robots-Tag 字段可以告知爬虫是否索引或抓取该资源