语言: "en" 标签:

• dpr
• 密集段落检索
• 知识蒸馏 数据集:
• ms_marco

基于Margin-MSE训练的DistilBert密集段落检索模型

我们提供了一个基于DistilBert的检索训练模型（我们称该架构为BERT_Dot）。该模型在MSMARCO-Passage数据集上使用3个BERT_Cat（拼接BERT评分）教师模型集成，通过Margin-MSE方法进行训练。

该模型实例可用于候选集重排序或直接用于基于向量索引的密集检索。架构采用6层DistilBERT，未添加或修改任何结构（仅在训练时调整权重）——为获取查询/段落表征，我们对CLS向量进行池化处理。查询和段落编码共享相同的BERT层（可提升效果并降低内存需求）。

若想了解我们用于此模型的简单而高效的知识蒸馏方法（适用于多种学生架构的信息检索模型），请参阅论文：https://arxiv.org/abs/2010.02666 🎉

更多信息、训练数据、源代码及最小化使用示例请访问：https://github.com/sebastian-hofstaetter/neural-ranking-kd

在MSMARCO Passage & TREC-DL'19上的效果

我们在MSMARCO标准（"small"-40万查询）训练三元组上，使用单张消费级GPU（11GB显存）以32的批量大小进行知识蒸馏训练。

重排序任务使用BM25的top-1000结果。

MSMARCO-DEV

TREC-DL'19

对于MRR和Recall，我们采用分级相关性推荐二值化点2。与其他二值化点比较时可能产生偏差。

更多基线、信息与分析详见论文：https://arxiv.org/abs/2010.02666

局限性与偏差

• 模型继承了DistilBERT和MSMARCO的社会偏见
• 仅针对MSMARCO较短段落（平均60词）训练，可能不擅长处理长文本

引用

若使用本模型检查点，请引用：

@misc{hofstaetter2020_crossarchitecture_kd,
      title={通过跨架构知识蒸馏改进高效神经排序模型}, 
      author={塞巴斯蒂安·霍夫施泰特尔、索菲亚·阿尔特哈默、迈克尔·施罗德、梅特·塞尔特坎、艾伦·汉伯里},
      year={2020},
      eprint={2010.02666},
      archivePrefix={arXiv},
      primaryClass={cs.IR}
}