安全相关响应头的处理

避免在爬虫请求上执行重定向跳转，尤其是JavaScript跳转

随意添加自定义头 ：部分非标准头可能被爬虫忽略，甚至触发安全警告，建议仅使用HTTP标准头

更多精选文章

谨慎使用 Vary 头 当CDN根据用户设备类型或💎语言返回不同内容时，务必在响应中添加 Vary: User-Agent 或 Vary: Accept-Language

理解CDN响应头对百度SEO的影响

配置时需确保源站与CDN节点一致返回这些头信息，避免因缓存一致性受损导致爬虫反复请求