URL规范化：从源头控制重复

一般建议 每日新增URL数量不超过站点历史总URL数的20% ，并且每隔2~3小时均匀投放🔑，而不是一次性提交海量链接

从长期来看，提升收录率的核心并💎不在于无限增加提交量，而在于 让每一次提交都得到🎨蜘蛛的信任

基于内容指纹的深度去重

针对这一问题，可以引入 内容指⭐纹算法 ：抓取页面主体文字后，计算其MD5或Simhash值，存入去重数据库