许可协议：apache-2.0
任务标签：文本排序
语言：

• 英文
  库名称：sentence-transformers
  基础模型：
• google/electra-large-discriminator
  标签：
• transformers

文本排序交叉编码器

本模型是将lightning-ir中的webis/monoelectra-large模型移植至Sentence Transformers和Transformers框架的版本。

原模型出自论文《A Systematic Investigation of Distilling Large Language Models into Cross-Encoders for Passage Re-ranking》。训练原模型的代码详见https://github.com/webis-de/rank-distillm。

该模型可用于"检索-重排序"两阶段流程中的重排序环节，对检索模型（如嵌入模型或BM25）返回的文本段落按查询相关性重新排序。更多细节参见SBERT.net检索与重排序指南。

通过Sentence Transformers使用

安装SentenceTransformers后即可便捷使用：

pip install sentence-transformers

随后按如下方式调用预训练模型：

from sentence_transformers import CrossEncoder  

model = CrossEncoder("cross-encoder/monoelectra-large", trust_remote_code=True)  
scores = model.predict([  
    ("柏林有多少人口？", "柏林在891.82平方公里的区域内拥有3,520,031名注册居民。"),  
    ("柏林有多少人口？", "柏林以其博物馆群闻名于世。"),  
])  
print(scores)  
# [ 6.016401  -3.6922567]  

通过Transformers使用

from transformers import AutoTokenizer, AutoModelForSequenceClassification  
import torch  

model = AutoModelForSequenceClassification.from_pretrained("cross-encoder/monoelectra-large", trust_remote_code=True)  
tokenizer = AutoTokenizer.from_pretrained("cross-encoder/monoelectra-large")  

features = tokenizer(  
    [  
        ("柏林有多少人口？", "柏林在891.82平方公里的区域内拥有3,520,031名注册居民。"),  
        ("柏林有多少人口？", "柏林以其博物馆群闻名于世。"),  
    ],  
    padding=True,  
    truncation=True,  
    return_tensors="pt",  
)  

model.eval()  
with torch.no_grad():  
    scores = model(**features).logits.view(-1)  
print(scores)  
# tensor([ 6.0164, -3.6923])