理解Robot协议：网站与搜索引擎的沟通桥梁

但常见错误包括： Sitem🎵ap URL写成了相对路径（如 /sitemap

Sitemap文件实际不存在或返回404状态码，爬虫无法读取

txt中如果同时存在多个User-agent块，爬虫会按照 最长匹配 原则选择最具体的规则