自建CMS如何做好蜘蛛抓取优化

txt，明确允许蜘蛛抓取的内容路径，同时屏蔽后台、临时目录等无关页面

重复页面过多 为相似页面添加rel=🌟“canonical”标签，指定权威版本