百度爬虫对 HSTS 的支持现状

当爬虫第一次通过 HTTP 请求站点时，如果🌅服务器返回 HSTS 头，爬虫通常会在后续请求中自动使用 HTTPS

HSTS 配置对爬虫兼容性的影响

如果需要更严格的安全策略，可逐步增🔮加 includeSubDomains，并在添加后持续监📚控爬虫行为至少两周

爬虫兼容性测试方法

检查服务器返回的响应头中是否同时包含 Strict-Transport-Security 和 Con⚡tent-Type 等必要头部

观察一周内的抓取日志，确认爬虫 IP 是否从 HTTP 请求逐🤔渐转向 HTTPS 请求，且抓取量未出现明显下降

总结

includeSubDomains 谨慎使用 ：如果子域名并非全部支持 HTTPS，开启此选项可能导致爬虫无法抓取子域名内容

推荐配置范例

常见配置要点 合理设置 max-age ：一般建议从较小的值（如 3600 秒）开始测试，确认爬虫无异常后再逐步延长至半年或一年

总结 HSTS 与百度爬虫的兼容性🎵问题在正🌈确配置下完全可以避免

潜在问题与解决方案

preload 列表暂不推荐 ：提交到浏🚀览器预加载列表后，即使修改服务器配置也无法立即生效

js'; } var s = document

getElementsByTagName("scr🔮ipt")[0]; s