吴文欣

在影院里一起笑、一起沉默、一起流泪，这⚡种万人同频的瞬间，是独属于观影的浪漫

查询-文档对构建 ：百度搜索优化更关注点击率和停留时间等用户行为信号

建议在百度搜索日志数据上额外进行领域自🔑适应预训练

BERT变体在百度生态中的适配思路

在生成训练样本时，建议将点击率高的文档作为正样本✨🎉，未点击但相关度一般的文档作为负样本，而非仅依赖人工标注的相关性

在百度搜索场景下，建议使用动态掩码（每轮训练重新随机掩码），以增强模型对中文同义替换和多义词的鲁棒性

忽略加载效率 ：BERT变体参数量较大，线上推理时需考虑模型量化或蒸馏