认识蜘蛛池与搜索引擎优化的基础逻辑

URL调度模块 ：设定抓取频率、深度和并发数，避免因抓取过快触发反爬机制

市面上也有部分开源项目可以参考，但务必在理解原理后自行改编，避免直接抄袭导致的功能隐患