爬虫去重策略：蜘蛛池内容采集的核心优化点

模板规则去重 定义特定的正则表达式或📌规则，匹配并排除特定格式的重复内容（如固定的广告模板、相同结构的问答对）