分布式爬虫池基础架构设计思路

去重机制与URL管理 如果不做有效的去重，分布式爬虫池可能重复抓取相同URL，浪费带宽且容易被搜索引擎判定为异常请求