蜘蛛爬取深度控制参数的核心配置方法

爬取深度控制参数不仅影响蜘蛛对站点内容的发现能力，也直接关系到服务器资源的合理分配

例如，禁止抓取分类标签页（如 /tag/ ）或搜索结果页面（如 /search/ ），相当于从源头上削减🔥了可进入的深度分支