理解蜘蛛池URL去重的必要性

常见的挑战👍包括： 参数冗余 ：URL中携带大量无意义参数，导致☀️搜索引擎认为每个参数组合都是独立页面

对文本计算哈希值（如MD🎊5或SHA1），作为该页面的唯一指纹

URL去重的常见挑战

规范化UR🌅L结构 统一URL的书写🎆规范，是去重的第一步