pipeline_tag: text-ranking tags:

• transformers
• 信息检索 language: pl license: apache-2.0 library_name: sentence-transformers

polish-reranker-base-mse

这是一个基于均方误差（MSE）蒸馏方法训练的波兰语文本排序模型，训练数据集包含140万条查询和1000万份文档的文本对。
训练数据由以下部分组成：1）波兰语MS MARCO训练集（80万条查询）；2）翻译为波兰语的ELI5数据集（超过50万条查询）；3）波兰语医学问答集合（约10万条查询）。
教师模型采用基于MT5-XXL架构的大型多语言排序模型unicamp-dl/mt5-13b-mmarco-100k，学生模型选择波兰语RoBERTa。
在MSE方法中，学生模型被训练直接复现教师模型的输出结果。

使用方式（Sentence-Transformers）

可以通过sentence-transformers如下使用该模型：

from sentence_transformers import CrossEncoder
import torch.nn

query = "如何活到100岁？"
answers = [
    "需要健康饮食并坚持运动。",
    "需要饮酒、参加派对并开快车。",
    "竞选期间政客们承诺要解决周日禁商令问题。"
]

model = CrossEncoder(
    "sdadas/polish-reranker-base-mse",
    default_activation_function=torch.nn.Identity(),
    max_length=512,
    device="cuda" if torch.cuda.is_available() else "cpu"
)
pairs = [[query, answer] for answer in answers]
results = model.predict(pairs)
print(results.tolist())

使用方式（Huggingface Transformers）

也可以通过Huggingface Transformers如下使用该模型：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import numpy as np

query = "如何活到100岁？"
answers = [
    "需要健康饮食并坚持运动。",
    "需要饮酒、参加派对并开快车。",
    "竞选期间政客们承诺要解决周日禁商令问题。"
]

model_name = "sdadas/polish-reranker-base-mse"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
texts = [f"{query}</s></s>{answer}" for answer in answers]
tokens = tokenizer(texts, padding="longest", max_length=512, truncation=True, return_tensors="pt")
output = model(**tokens)
results = output.logits.detach().numpy()
results = np.squeeze(results)
print(results.tolist())

评估结果

该模型在波兰信息检索基准测试的Rerankers类别中取得NDCG@10分数为57.50。详见PIRB排行榜获取详细结果。

引用文献

@article{dadas2024assessing,
  title={评估波兰语文本排序模型的泛化能力}, 
  author={斯瓦沃米尔·达达斯和马尔戈扎塔·格伦博维茨},
  year={2024},
  eprint={2402.14318},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}