许可协议：Apache-2.0
数据集：

• sentence-transformers/msmarco
  语言：
• 英语
  基础模型：
• nreimers/TinyBERT_L-4_H-312_v2
  任务标签：文本排序
  库名称：sentence-transformers
  标签：
• transformers

MS Marco交叉编码器

本模型基于MS Marco段落排序任务训练而成。

该模型可用于信息检索场景：给定查询语句时，对查询语句与所有候选段落（例如通过ElasticSearch检索获得）进行联合编码，并按相关性得分降序排序段落。详见SBERT.net检索与重排序指南。训练代码参见：SBERT.net训练MS Marco

Transformers调用方式

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model = AutoModelForSequenceClassification.from_pretrained('cross-encoder/ms-marco-TinyBERT-L4')
tokenizer = AutoTokenizer.from_pretrained('cross-encoder/ms-marco-TinyBERT-L4')

features = tokenizer(['柏林常住人口有多少？', '柏林常住人口有多少？'], 
                    ['柏林面积891.82平方公里，注册居民3,520,031人', 
                    '纽约市以大都会艺术博物馆闻名'],  
                    padding=True, truncation=True, return_tensors="pt")

model.eval()
with torch.no_grad():
    scores = model(**features).logits
    print(scores)

SentenceTransformers调用方式

安装SentenceTransformers库后可简化调用流程：

from sentence_transformers import CrossEncoder

model = CrossEncoder('cross-encoder/ms-marco-TinyBERT-L4', max_length=512)
scores = model.predict([('查询语句', '段落1'), ('查询语句', '段落2'), ('查询语句', '段落3')])

性能表现

下表展示了不同预训练交叉编码器在TREC 2019深度学习赛道和MS Marco段落重排序任务中的性能指标（测试环境：V100 GPU）：