蜘蛛爬行路径：从URL发现到索引入库的全流程

它通常遵循 广度优先 或 深度优先 策略：🎵 🔥广度优先 ：先抓取网站同一层级的所有页面，再进入下层

特别是对于长尾内容集中、页面数量🔥较多的站点，建议定期通过日志分析工具检查蜘蛛实际抓取的页面分布，识别被冷落的“死角”，补充从高热页面到低热页面的通路