自定义robots.txt：精准屏蔽网站冗余内容

txt之前，首先需要梳理哪些内容属于“冗余⚡”或“🔑无用”页面

外部链接中转或跳转页面： 某些站内跳转页、统计中转页⭐，通常无实质内容⭐，也应屏蔽

例如： Us🔥er-agent: Baiduspider Disallow: /admin/ Disallow: 🎵/test/ Disallow: /*

更多精选文章

单独处理移动端或AMP版本： 如果你的网站有独立的移动端路径（如 /m/）或AMP版本，🔥且这些版本已通过rel="alternate"标签关联，则可以考虑在robots