新京报
txt中新增了以下规则: Disallow: /tag/ 该规则本意是禁止标签聚合页面被抓取,但网站的文章详情页均包含 /tag/ 路径下的相关推荐模块,导致部分文章内容被误判为禁止抓取
txt末尾添加 Sitemap🔥: https://www
设为首页
关于百度
About Baidu
使用百度前必读
帮助中心
© Baidu
京ICP证030173号
京公网安备11000002000001号