页面深度：不可忽视的抓取门槛

所以，定期清理死链、合并相似页面也是提升抓取效率的关键操作

抓取预算：有限资源下的分配策略

例如，首页是层级0，通过首页链接到达的栏目页是层⚡级1，栏目页下的文章页就是层级2

提升服务器响应速度 ：蜘蛛在抓取时如果遇到超时或响应过慢，会立即放弃该链接并减少后续抓取次数