蜘蛛池内容重复度控制的实战逻辑

建议每三天随机抽取10-20个页面，使用在线内容相似度检测工具对比两两之间的重复比例