pipeline_tag: 文本排序 tags:

• transformers
• 信息检索 language: 波兰语 license: gemma library_name: sentence-transformers

polish-reranker-bge-v2

这是一个基于BAAI/bge-reranker-v2-m3并进一步在大规模文本对数据集上微调的波兰语重排序模型：

• 我们采用RankNet损失函数，在与sdadas/polish-reranker-roberta-v2相同的数据上进行训练
• 使用BAAI/bge-reranker-v2.5-gemma2-lightweight作为蒸馏教学的教师模型
• 训练完成后，我们合并了原始权重和微调权重以生成最终检查点
• 我们采用了支持Flash Attention 2的自定义XLM-RoBERTa实现。如需使用这些特性，加载模型时需设置参数trust_remote_code=True和attn_implementation="flash_attention_2"。这一点尤为重要，因为BAAI/bge-reranker-v2-m3支持8192个token的长上下文。对于这种长度的输入，使用Flash Attention的推理速度可比原始模型提升高达400%。

在大多数情况下，优先推荐使用sdadas/polish-reranker-roberta-v2，因为该模型在波兰语上表现更优。本模型的主要优势在于其上下文长度，因此在处理包含长文档的某些数据集时可能表现更好。

使用方法（Huggingface Transformers）

可通过以下方式使用Huggingface Transformers加载该模型：

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import numpy as np

query = "如何活到100岁？"
answers = [
    "需要健康饮食并坚持运动。",
    "应该饮酒狂欢、开快车。",
    "竞选期间政客们承诺要解决周日禁售令问题。"
]

model_name = "sdadas/polish-reranker-bge-v2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(
    model_name,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
    device_map="cuda"
)
texts = [f"{query}</s></s>{answer}" for answer in answers]
tokens = tokenizer(texts, padding="longest", max_length=8192, truncation=True, return_tensors="pt").to("cuda")
output = model(**tokens)
results = output.logits.detach().cpu().float().numpy()
results = np.squeeze(results)
print(results.tolist())

评估结果

该模型在波兰信息检索基准测试（Rerankers类别）中取得了NDCG@10分数为64.21的优异成绩。详见PIRB排行榜获取详细结果。

引用文献

@article{dadas2024assessing,
  title={评估波兰语文本排序模型的泛化能力}, 
  author={斯瓦沃米尔·达达斯和马尔戈扎塔·格伦博维茨},
  year={2024},
  eprint={2402.14318},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}