第二步：控制爬虫预算的核心方法

内容更新频率： 频繁更新的站点🎉会获得更多爬虫访问

301/302： 合理引导爬虫到正确URL，避免死链或临时跳转堆积

daily： 适用于每日更新的💪博客或产品页面

理解爬虫预算与收录效率的关系

page= Disallow: /tag/* 这样能节省大量爬虫预算，让爬虫集中抓取真正需要收录的内容