理解爬虫抓取逻辑，从结构上减少无关页面

一、建立清晰的层级目录☀️与导航 一个友好的爬虫结构首先体现在UR✅L层级和导航体系上

特别注意避免爬虫陷入无限循环的链接（如分页过多、按条件筛☀️选的URL变体），必要时使用 noindex🌺 标签阻止收录