理解蜘蛛池URL去重机制的核心作用

但在这个流程中💪，如果池内存在大量重复URL，蜘蛛资源会被无效消耗，导致抓取效率下降