蜘蛛爬取深度控制参数的核心配置方法

crawl_delay（爬取延迟） ：通过设置蜘蛛访问页面之间的时间间隔（单位秒），间接控制爬取深度速率

对于内容价值较低的页面（如“上一页/下一页”分页链接），建议在🌅分页链接上添🔮加 rel="nofollow"