Robots协议核心配置与百度SEO优化实践



txt中新增了以下规则: Disallow: /tag/ 该规则本意是禁止标签聚合页面被抓取,但网站的文章详情页均包含 /tag/ 路径下的相关推荐模块,导致部分文章内容被误判为禁止抓取



txt末尾添加 Sitemap🔥: https://www



举报/反馈