许可证: mit
数据集:

• hpprc/emb
• hotchpotch/hpprc_emb-scores
• microsoft/ms_marco
• hotchpotch/japanese-splade-v1-hard-negatives
• hpprc/msmarco-ja
  语言:
• ja
  基础模型:
• cl-nagoya/ruri-v3-pt-30m
  库名称: sentence-transformers
  流水线标签: text-ranking

hotchpotch/japanese-reranker-xsmall-v2

这是非常小巧且快速的日语重排序模型系列(v2)。

关于重排序器的技术报告和评估，请参考以下内容：

• 发布非常小巧、快速且实用的日语重排序器 japanese-reranker-tiny,xsmall v2
• 发布日语最高性能的重排序器 / 什么是重排序器？
• 日语重排序器技术报告

使用方法

需要 transformers 库版本 v4.48 或更高。

pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece  

如果 GPU 支持 Flash Attention 2，安装 flash-attn 库可以实现更快的推理。

pip install flash-attn --no-build-isolation  

SentenceTransformers

from sentence_transformers import CrossEncoder  
import torch  

MODEL_NAME = "hotchpotch/japanese-reranker-xsmall-v2"  

model = CrossEncoder(MODEL_NAME)  
if model.device == "cuda" or model.device == "mps":  
    model.model.half()  
query = "关于感人的电影"  
passages = [  
    "虽然主题深刻，但能震撼人心的杰作。角色心理描写出色，结局让人泪流满面。",  
    "重要的信息性值得肯定，但故事过于阴暗让人心情低落。如果能多一些明亮的元素会更好。",  
    "总觉得剧情缺乏真实感。希望能看到更有深度的人物故事。",  
    "动作场面非常精彩，看得很过瘾。故事虽然简单，但反而很好。",  
]  
scores = model.predict(  
    [(query, passage) for passage in passages],  
    show_progress_bar=True,  
)  
print("得分:", scores)  

SentenceTransformers + onnx 使用

在 CPU 环境或 arm 环境中，可以使用 onnx 或量化模型实现更快的运行。

pip install onnx onnxruntime accelerate optimum  

from sentence_transformers import CrossEncoder  

# 如果不选择 oxxn 模型，会自动使用 model.onnx  
# onnx_filename = None  

# 使用量化优化模型时，指定文件名  
# onnx_filename = "onnx/model_qint8_avx2.onnx"  
onnx_filename = "onnx/model_qint8_arm64.onnx"  

if onnx_filename:  
    model = CrossEncoder(  
        MODEL_NAME,  
        device="cpu",  
        backend="onnx",  
        model_kwargs={"file_name": onnx_filename},  
    )  
else:  
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")  

...  

HuggingFace transformers

from transformers import AutoTokenizer, AutoModelForSequenceClassification  
from torch.nn import Sigmoid  

def detect_device():  
    if torch.cuda.is_available():  
        return "cuda"  
    elif hasattr(torch, "mps") and torch.mps.is_available():  
        return "mps"  
    return "cpu"  

device = detect_device()  
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)  
model = AutoModelForSequenceClassification.from_pretrained(MODEL_NAME)  
model.to(device)  
model.eval()  

if device == "cuda":  
    model.half()  

query = "关于感人的电影"  
passages = [  
    "虽然主题深刻，但能震撼人心的杰作。角色心理描写出色，结局让人泪流满面。",  
    "重要的信息性值得肯定，但故事过于阴暗让人心情低落。如果能多一些明亮的元素会更好。",  
    "总觉得剧情缺乏真实感。希望能看到更有深度的人物故事。",  
    "动作场面非常精彩，看得很过瘾。故事虽然简单，但反而很好。",  
]  
inputs = tokenizer(  
    [(query, passage) for passage in passages],  
    padding=True,  
    truncation=True,  
    max_length=512,  
    return_tensors="pt",  
)  
inputs = {k: v.to(device) for k, v in inputs.items()}  
logits = model(**inputs).logits  
activation = Sigmoid()  
scores = activation(logits).squeeze().tolist()  

print("得分:", scores)  

小型重排序器的特点

japanese-reranker-tiny-v2 和 japanese-reranker-xsmall-v2 是具有以下特点的小型重排序模型：

1. 在 CPU 或 Apple Silicon 环境中也能以实用速度运行
2. 无需昂贵的 GPU 资源即可提升 RAG 系统的精度
3. 适用于边缘设备部署或低延迟要求的实际环境
4. 基于 ModernBert 的 ruri-v3-pt-30m

评估结果

推理速度

以下是约15万对文本进行重排序时的推理速度结果（不包括标记化时间的纯模型推理时间）。MPS（Apple Silicon）和 CPU 测试使用 M4 Max，GPU 使用 RTX5090。GPU 处理使用了 flash-attention2。