🚀 MS Marco交叉编码器
本模型是在 MS Marco段落排序 任务上进行训练的。该模型可用于信息检索:给定一个查询,将该查询与所有可能的段落(例如通过 ElasticSearch 检索到的段落)进行编码,然后按降序对段落进行排序。更多详细信息请参阅 SBERT.net 检索与重排序。训练代码可在此处获取:SBERT.net 训练 MS Marco
🚀 快速开始
✨ 主要特性
- 基于 MS Marco 段落排序 任务训练,适用于信息检索场景。
- 可与 SentenceTransformers 和 Transformers 库结合使用,方便快捷。
📦 安装指南
文档未提及具体安装步骤,可参考相关库的官方文档进行安装:
💻 使用示例
基础用法
使用 SentenceTransformers 库调用预训练模型:
from sentence_transformers import CrossEncoder
model = CrossEncoder('cross-encoder/ms-marco-electra-base')
scores = model.predict([
("How many people live in Berlin?", "Berlin had a population of 3,520,031 registered inhabitants in an area of 891.82 square kilometers."),
("How many people live in Berlin?", "Berlin is well known for its museums."),
])
print(scores)
高级用法
使用 Transformers 库调用模型:
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
model = AutoModelForSequenceClassification.from_pretrained('model_name')
tokenizer = AutoTokenizer.from_pretrained('model_name')
features = tokenizer(['How many people live in Berlin?', 'How many people live in Berlin?'], ['Berlin has a population of 3,520,031 registered inhabitants in an area of 891.82 square kilometers.', 'New York City is famous for the Metropolitan Museum of Art.'], padding=True, truncation=True, return_tensors="pt")
model.eval()
with torch.no_grad():
scores = model(**features).logits
print(scores)
📚 详细文档
在以下表格中,我们提供了各种预训练的交叉编码器及其在 TREC 深度学习 2019 和 MS Marco 段落重排序 数据集上的性能表现。
模型名称 |
NDCG@10 (TREC DL 19) |
MRR@10 (MS Marco Dev) |
文档/秒 |
版本 2 模型 |
|
|
|
cross-encoder/ms-marco-TinyBERT-L-2-v2 |
69.84 |
32.56 |
9000 |
cross-encoder/ms-marco-MiniLM-L-2-v2 |
71.01 |
34.85 |
4100 |
cross-encoder/ms-marco-MiniLM-L-4-v2 |
73.04 |
37.70 |
2500 |
cross-encoder/ms-marco-MiniLM-L-6-v2 |
74.30 |
39.01 |
1800 |
cross-encoder/ms-marco-MiniLM-L-12-v2 |
74.31 |
39.02 |
960 |
版本 1 模型 |
|
|
|
cross-encoder/ms-marco-TinyBERT-L-2 |
67.43 |
30.15 |
9000 |
cross-encoder/ms-marco-TinyBERT-L-4 |
68.09 |
34.50 |
2900 |
cross-encoder/ms-marco-TinyBERT-L-6 |
69.57 |
36.13 |
680 |
cross-encoder/ms-marco-electra-base |
71.99 |
36.41 |
340 |
其他模型 |
|
|
|
nboost/pt-tinybert-msmarco |
63.63 |
28.80 |
2900 |
nboost/pt-bert-base-uncased-msmarco |
70.94 |
34.75 |
340 |
nboost/pt-bert-large-msmarco |
73.36 |
36.48 |
100 |
Capreolus/electra-base-msmarco |
71.23 |
36.89 |
340 |
amberoad/bert-multilingual-passage-reranking-msmarco |
68.40 |
35.54 |
330 |
sebastian-hofstaetter/distilbert-cat-margin_mse-T2-msmarco |
72.82 |
37.88 |
720 |
注意:运行时间是在 V100 GPU 上计算得出的。
📄 许可证
本项目采用 Apache-2.0 许可证。
信息表格
属性 |
详情 |
模型类型 |
交叉编码器 |
训练数据 |
sentence-transformers/msmarco |
基础模型 |
google/electra-base-discriminator |
任务类型 |
文本排序 |
库名称 |
sentence-transformers |
标签 |
transformers |