合理设置禁止索引规则

txt 分组设置路径 ：将站点URL按重要性分组

三、使用 meta robots 实现页面级控制 对于无法通过文件路径统一屏蔽的页面（如某些动态参数URL），可在HTML头部添加： <meta name="robots" content="noindex, follow"> ：禁止索引该页，但允许爬虫继续抓取其上的链接