pipeline_tag: 句子相似度 tags:

• 句子转换器
• 特征提取
• 句子相似度
• 转换器
• 信息检索 language: 波兰语 license: apache-2.0 widget:
• source_sentence: "query: 如何活到100岁？" sentences:
  • "passage: 需要健康饮食和坚持运动。"
  • "passage: 需要饮酒、参加派对和开快车。"
  • "passage: 竞选期间政客们承诺要解决周日禁商令问题。"

MMLW-retrieval-e5-large

MMLW（我必须得到更好的消息）是面向波兰语的神经文本编码器。该模型针对信息检索任务进行了优化，可将查询和段落转换为1024维向量。模型开发采用两步流程：

• 第一步：以多语言E5检查点初始化模型，随后在6000万条波兰语-英语文本对的多样化语料库上采用多语言知识蒸馏方法进行训练。我们使用英语FlagEmbeddings(BGE)作为蒸馏教学的教师模型。
• 第二步：在波兰版MS MARCO训练集上通过对比损失进行微调。为提升对比训练效率，我们采用大批量训练策略——小型模型1152批次、基础模型768批次、大型模型288批次。微调在12块A100 GPU集群上完成。

⚠️ 2023-12-26更新：模型已升级至效果更优的新版本。仍可通过v1标签下载旧版：AutoModel.from_pretrained("sdadas/mmlw-retrieval-e5-large", revision="v1") ⚠️

使用指南（Sentence-Transformers）

⚠️ 使用本稠密检索器时，文本编码需添加特定前缀。查询需添加**"query: "前缀，段落需添加"passage: "**前缀⚠️

通过sentence-transformers可如下使用模型：

from sentence_transformers import SentenceTransformer
from sentence_transformers.util import cos_sim

query_prefix = "query: "
answer_prefix = "passage: "
queries = [query_prefix + "如何活到100岁？"]
answers = [
    answer_prefix + "需要健康饮食和坚持运动。",
    answer_prefix + "需要饮酒、参加派对和开快车。",
    answer_prefix + "竞选期间政客们承诺要解决周日禁商令问题。"
]
model = SentenceTransformer("sdadas/mmlw-retrieval-e5-large")
queries_emb = model.encode(queries, convert_to_tensor=True, show_progress_bar=False)
answers_emb = model.encode(answers, convert_to_tensor=True, show_progress_bar=False)

best_answer = cos_sim(queries_emb, answers_emb).argmax().item()
print(answers[best_answer])
# 需要健康饮食和坚持运动。

评估结果

该模型在波兰信息检索基准测试中达到NDCG@10值58.30。详见PIRB排行榜。

致谢

模型训练使用的A100 GPU集群由格但斯克理工大学通过TASK中心计划提供支持。

引用文献

@article{dadas2024pirb,
  title={{PIRB}: 波兰稠密与混合文本检索方法综合基准测试}, 
  author={斯瓦沃米尔·达达斯和米哈乌·佩雷乌凯维奇及拉法尔·波希维亚塔},
  year={2024},
  eprint={2402.13350},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}