搭建高效SEO框架：Sitemap与Robots.txt的协同配置

njk 文件，通过 collections

例如，首页的 priority 建议设为1

txt的精准控制策略 百度搜索引擎的爬虫对 robots

更多精选文章

例如： User-agent: Baidusp⚡ider 🎯下方单独配置，其余爬虫使用通配符 * 统一配置

陈翊依

关键点在于配置 lastmod （最后修改时间）、 changefreq （更新频率）和 priority （优先级）

但此指令属于非标☀️准扩展，部分搜索🔮引擎可能忽略

txt禁止冗余路径🎯 ：对分页、搜索结果、标签季度归档等容易产生大量低质URL的路径进行屏蔽，避免百度爬虫抓取后分散权重