爬虫爬行深度控制的本质：把控蜘蛛在站内的“有效停留”

在低价值页面堆砌内链： 例如一个目录页里有上百个分页链接，蜘蛛可能全抓一遍才进入正文

深度控制与蜘蛛“站内时长”📚的关系 蜘蛛在站内消耗的时长，可以拆解为“抓取页面数”ד每个页面的处理时间”