抓取预算：有限资源下的分配策略

页面深度指的是从首页到达目标页面所经过的点击次数

txt或meta标签🎊屏蔽标签页💎、搜索结果页、分页中重复的内容

这些页面抓取了也不会带来收录排名，却会消耗预算

页面深度：不可忽视的抓取门槛

例如，首页是层级0，通过首页链接到达的栏目页是层级1，栏目页下的文章页就是层级2

在实战中，我发现如果页面深度超过3层，蜘蛛抓取该页面的概率会显著下降

深度与预算的协同优化

合理设置sitemap ：将最重要的、最新更新的页❤️面放在sitemap的前列，并定期更新sitemap文件