语言: "中文" 标签:

• 密集段落检索
• 知识蒸馏 数据集:
• MSMARCO

采用平衡主题感知采样训练(TAS-B)的密集段落检索DistilBert模型

我们提供了一个基于DistilBert的检索训练模型（我们称之为双编码器点积评分架构BERT_Dot），该模型在MSMARCO-Passage数据集上通过平衡主题感知采样进行训练。

该实例采用256的批量大小训练，可用于候选集重排序或直接用于基于向量索引的密集检索。模型架构为6层DistilBERT，未进行任何结构增减或修改（仅通过训练调整权重）——我们通过池化CLS向量获取查询/段落表征。查询和段落编码共享相同的BERT层（可获得更好效果并降低内存需求）。

若想了解我们高效的批量组合方法（单消费级GPU 48小时可完成）及密集检索训练中的双重监督机制，请参阅论文：https://arxiv.org/abs/2104.06967 🎉

更多信息及简明使用示例请访问：https://github.com/sebastian-hofstaetter/tas-balanced-dense-retrieval

MSMARCO Passage & TREC-DL'19 效果评估

我们采用TAS-B方法对MSMARCO标准（"small"-40万查询）训练三元组进行重采样训练。教师模型使用BERT_CAT配对分数及ColBERT模型提供的批内负样本信号：https://github.com/sebastian-hofstaetter/neural-ranking-kd

MSMARCO-DEV (7K)

TREC-DL'19

对于MRR和召回率，我们采用建议的二分阈值2（分级相关性）。与其他二分阈值比较时可能产生偏差。

TREC-DL'20

对于MRR和召回率，我们采用建议的二分阈值2（分级相关性）。与其他二分阈值比较时可能产生偏差。

更多基线数据、信息与分析详见论文：https://arxiv.org/abs/2104.06967

局限性 & 偏差

• 模型继承了DistilBERT和MSMARCO的社会偏见
• 仅针对MSMARCO较短段落训练（平均60词长度），可能不擅长处理长文本

引用

若使用本模型检查点，请引用：

@inproceedings{Hofstaetter2021_tasb_dense_retrieval,
 author = {Sebastian Hofst{\"a}tter and Sheng-Chieh Lin and Jheng-Hong Yang and Jimmy Lin and Allan Hanbury},
 title = {{高效训练有效密集检索器的平衡主题感知采样方法}},
 booktitle = {SIGIR会议论文集},
 year = {2021},
}