pipeline_tag: 句子相似度 tags:

• 句子转换器
• 特征提取
• 句子相似度
• 转换器
• 信息检索 language: 波兰语 license: apache-2.0 widget:
• source_sentence: "query: 如何活到100岁？" sentences:
  • "passage: 需要健康饮食和运动。"
  • "passage: 需要喝酒、聚会和开快车。"
  • "passage: 竞选期间政客们承诺要解决周日禁售令问题。"

MMLW-retrieval-e5-small

MMLW（我必须得到更好的消息）是波兰语的神经文本编码器。
该模型针对信息检索任务进行了优化，可将查询和段落转换为384维向量。
模型开发采用两步流程：

• 第一步：以多语言E5检查点初始化，随后在6000万条波兰语-英语文本对的多样化语料库上，采用多语言知识蒸馏方法进行训练。我们使用英语FlagEmbeddings (BGE)作为蒸馏的教师模型。
• 第二步：在波兰版MS MARCO训练集上通过对比损失进行微调。为提升对比训练效率，采用大批量尺寸——small模型1152，base模型768，large模型288。微调在12块A100 GPU集群上完成。

⚠️ 2023-12-26更新：模型已升级至效果更优的新版本。仍可通过v1标签下载旧版：AutoModel.from_pretrained("sdadas/mmlw-retrieval-e5-small", revision="v1") ⚠️

使用指南（Sentence-Transformers）

⚠️ 本稠密检索模型编码文本时需添加特定前缀：查询前添加**"query: "，段落前添加"passage: "** ⚠️

通过sentence-transformers可如下使用：

from sentence_transformers import SentenceTransformer
from sentence_transformers.util import cos_sim

query_prefix = "query: "
answer_prefix = "passage: "
queries = [query_prefix + "如何活到100岁？"]
answers = [
    answer_prefix + "需要健康饮食和运动。",
    answer_prefix + "需要喝酒、聚会和开快车。",
    answer_prefix + "竞选期间政客们承诺要解决周日禁售令问题。"
]
model = SentenceTransformer("sdadas/mmlw-retrieval-e5-small")
queries_emb = model.encode(queries, convert_to_tensor=True, show_progress_bar=False)
answers_emb = model.encode(answers, convert_to_tensor=True, show_progress_bar=False)

best_answer = cos_sim(queries_emb, answers_emb).argmax().item()
print(answers[best_answer])
# 需要健康饮食和运动。

评估结果

该模型在波兰信息检索基准测试中达到NDCG@10分数52.34。详见PIRB排行榜。

致谢

模型训练由格但斯克理工大学TASK中心提供的A100 GPU集群支持。

引用

@article{dadas2024pirb,
  title={{PIRB}: 波兰稠密与混合文本检索方法综合基准}, 
  author={斯瓦沃米尔·达达斯 and 米哈乌·佩雷乌凯维奇 and 拉法尔·波希维亚塔},
  year={2024},
  eprint={2402.13350},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}