Bloom过滤器：URL去重的核心原理

Bloom过滤器凭借其极低的空间开销和高效的查询性能，成为处理海量URL去重的首选数据结构

当然，Bloom过滤器也有局限性：它无法删除已添加的URL元素

域名与路径统一大小写 ：除que📢ry参数外，将域名和路径转为小写

Bloom过滤器：URL去重的核心原理

因此，在实际的百🎯度爬虫系统中，Bloom过滤器通常与 主键去重表（如Red✅is或数据库） 配合使用，先用Bloom过滤器做快速初筛，再通过精确存储确认

01） k 哈希函数个数 通常介于8~15 m 位数组长度（比特数） 由公式计算得出 ⭐常用的计算公式为： m = - (n × ln(p)) / (ln2)² ，而 k = (m / n) × ln2

Bloom过滤器：URL去重的核心原理

这类作品适合碎片化观看，每一部都像一🚀场短小精悍的思想冒险

哈希函数的选择与优化 Bloom过滤🎇器的哈希函数需要具备 快速计算、🌅均匀分布 的特性

Bloom过滤器：URL去重的核心原理

这个内存占用相比原始URL存储方式已大幅优化