许可证：apache-2.0
数据集：

• sentence-transformers/msmarco
  语言：
• 英语
• 德语
  基础模型：
• microsoft/Multilingual-MiniLM-L12-H384
  任务标签：文本排序
  库名称：sentence-transformers
  标签：
• transformers

面向MS MARCO的英德跨语言交叉编码器

这是一个适用于英德双语段落重排序任务的跨语言交叉编码器模型，基于MS Marco段落排序任务训练而成。

该模型可用于信息检索场景，具体方法参见SBERT.net检索与重排序。

训练代码已开源，详见train_script.py文件。

通过SentenceTransformers调用

安装SentenceTransformers后，可按如下方式使用：

from sentence_transformers import CrossEncoder

model = CrossEncoder('模型名称', max_length=512)

query = '柏林有多少人口？'
docs = ['柏林在891.82平方公里的区域内拥有3,520,031名注册居民。', '纽约市以大都会艺术博物馆闻名。']
pairs = [(query, doc) for doc in docs]
scores = model.predict(pairs)

通过Transformers调用

使用transformers库时调用方式如下：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model = AutoModelForSequenceClassification.from_pretrained('模型名称')
tokenizer = AutoTokenizer.from_pretrained('模型名称')

features = tokenizer(['柏林有多少人口？', '柏林有多少人口？'], 
                    ['柏林在891.82平方公里的区域内拥有3,520,031名注册居民。', '纽约市以大都会艺术博物馆闻名。'],
                    padding=True, truncation=True, return_tensors="pt")

model.eval()
with torch.no_grad():
    scores = model(**features).logits
    print(scores)

性能表现

模型在三个数据集上的表现如下：

• TREC-DL19英英测试：基于TREC 2019深度学习赛道，对BM25检索的1000份英文文档进行重排序，计算NDCG@10。BM25基线为45.46，理论上限为95.47。
• TREC-DL19德英测试：将TREC-DL19英文查询人工翻译为德语后，对原始英文段落进行排序。
• GermanDPR德德测试：基于GermanDPR的280万条维基百科德文段落，使用Elasticsearch的BM25检索前100相关段落，计算MRR@10。BM25基线为35.85，理论上限为76.27。

同时对比了双编码器在相同评估条件下的表现（通过余弦相似度对BM25检索结果进行重排序），双编码器也可用于端到端语义搜索。

注：处理速度指标为V100 GPU每秒可处理的(查询,文档)对数。