综合建议

许多站点修改了协议却未验证，导致出现“允许抓取的页面被误拦”或“本应屏蔽的路径反被放开”的情况

Sitemap 地址未正确关联

在撰写协议时， 以“最小权限”为原则 ——只禁止确需屏蔽的内容，其余全部开放，这是一种更为可靠且维护成本更低的配置思路

协议更新后未及时验证

很多站长误以为“Disallow: /”可以完全禁止爬虫，但这实际上会导致整站被屏蔽

建议在文件末尾添加： Sitemap: https://www