同时建议开启HTTP Strict Transport Security(HSTS),头部示例为: Strict-Transport-Security: max-age=31536000; includeSubDomains; preload 此设置强制浏览器和搜索引擎爬虫在指定时间内仅通过HTTPS访问,有效防止中间人攻击,且有助于提升百度爬虫的信任评分
txt拦截 保🎨持新旧URL一致,检查robots
对于蜘蛛池这类需要承载大量域名或子域名的场景,通配符证🎨书(W😎ildcard SSL)或多域名证书(SAN SSL)更具性价比