pipeline_tag: 句子相似度
tags:

• 特征提取
• 句子相似度
• transformers

CoT-MAE MS-Marco 段落重排序模型

CoT-MAE 是一种基于 transformers 的掩码自动编码器（Mask Auto-Encoder）预训练架构，专为密集段落检索设计。
CoT-MAE MS-Marco 段落重排序模型 是通过 CoT-MAE 检索器挖掘的 MS-Marco 困难负样本，并使用 Tevatron 工具包训练的重排序模型。

更多细节请参考我们的论文和代码。

论文：ConTextual Mask Auto-Encoder for Dense Passage Retrieval。

代码：caskcsg/ir/cotmae

性能指标

MS-Marco 段落全排序 + 前200重排序

我们首先使用 CoT-MAE MS-Marco 段落检索器（名为 cotmae_base_msmarco_retriever）进行检索，然后使用重排序模型对前200条检索结果重新评分。性能如下：

引用

如果您觉得我们的工作有帮助，请引用我们的论文。

@misc{https://doi.org/10.48550/arxiv.2208.07670,  
  doi = {10.48550/ARXIV.2208.07670},  
  url = {https://arxiv.org/abs/2208.07670},  
  author = {Wu, Xing and Ma, Guangyuan and Lin, Meng and Lin, Zijia and Wang, Zhongyuan and Hu, Songlin},  
  keywords = {Computation and Language (cs.CL), Artificial Intelligence (cs.AI), FOS: Computer and information sciences, FOS: Computer and information sciences},  
  title = {ConTextual Mask Auto-Encoder for Dense Passage Retrieval},  
  publisher = {arXiv},  
  year = {2022},  
  copyright = {arXiv.org perpetual, non-exclusive license}  
}