蜘蛛池反向链接去重的核心逻辑

为什么反向链接需要去重 当蜘蛛池运行一段时间后，它可能会多🎇次抓取并提交相同的链接地址