标签:

• 句子转换器
• 句子相似度
• 特征提取
• 训练生成 基础模型:
• intfloat/multilingual-e5-small
• dragonkue/multilingual-e5-small-ko 管道标签: 句子相似度 库名称: sentence-transformers 许可证: apache-2.0 语言:
• 韩语
• 英语

基于intfloat/multilingual-e5-small的SentenceTransformer

这是一个从intfloat/multilingual-e5-small微调而来的sentence-transformers模型，训练数据包含韩语查询-段落对，以提高韩语检索任务的性能。它将句子和段落映射到384维密集向量空间，可用于语义文本相似性、语义搜索、释义挖掘、文本分类、聚类等任务。

该模型是一个轻量级的韩语检索器，设计用于实际检索任务中的易用性和强大性能。适合运行演示或轻量级应用，在速度和准确性之间提供了良好的平衡。

为了获得更高的检索性能，我们建议将其与重新排序器结合使用。推荐的重新排序器模型：

• dragonkue/bge-reranker-v2-m3-ko
• BAAI/bge-reranker-v2-m3

模型详情

模型描述

• 模型类型: 句子转换器
• 基础模型: intfloat/multilingual-e5-small
• 最大序列长度: 512个标记
• 输出维度: 384维
• 相似性函数: 余弦相似性
• 训练数据集: 包含韩语查询-段落对的数据集

模型来源

• 文档: Sentence Transformers文档
• 代码库: GitHub上的Sentence Transformers
• Hugging Face: Hugging Face上的Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

使用方法

直接使用（Sentence Transformers）

首先安装Sentence Transformers库：

pip install -U sentence-transformers

然后可以加载此模型并运行推理：

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("dragonkue/multilingual-e5-small-ko")
# 运行推理
sentences = [
    'query: 北韩家族法第几次修订中明确规定了离婚判决确定后3个月内登记才有效的条款？',
    'passage: 1990年制定的北韩家族法至今已进行了4次修订。1993年的第1次修订主要是为了提高规定的准确性而修改了一些条款，实质性内容的补充主要是设置了继承的承认与放弃期限的第52条。2004年的第2次修订中新增了第20条第3项，明确规定经判决确定的离婚判决必须在3个月内登记才能产生离婚效力。2007年的第3次修订中新增了父母与子女关系自身份登记机关登记时起产生法律效力的规定（第25条第2项）。此外，关于未成年人、无劳动能力者的扶养（第37条第2项），将原有的"无扶养能力的家庭成员时，由分居的父母或子女、祖父母或孙子女、兄弟姐妹扶养"的规定修改为"无扶养能力的家庭成员时，由分居的父母或子女扶养，若无则由祖父母或孙子女、兄弟姐妹扶养"。',
    'passage: 环境标志制度，认证标准变更减轻企业负担\n环境标志制度介绍\n□ 概述\n○ 与同用途其他产品相比，允许在"产品环境性*"改善的产品上标注标志和说明的认证制度\n※ 产品环境性：在材料与产品的制造、消费、废弃全过程中排放污染物或温室气体等的程度及资源与能源消耗程度等对环境的影响程度（《环境技术与环境产业支援法》第2条第5号）\n□ 法律依据\n○ 《环境技术与环境产业支援法》第17条（环境标志的认证）\n□ 相关国际标准\n○ ISO 14024（第1类环境标志）\n□ 适用对象\n○ 办公设备、家电产品、生活用品、建筑材料等156个产品群\n□ 认证现状\n○ 2,737家企业的16,647个产品（截至2015年12月底）',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 获取嵌入的相似性分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

直接使用（Transformers）

import torch.nn.functional as F

from torch import Tensor
from transformers import AutoTokenizer, AutoModel


def average_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]


# 每个输入文本应以"query: "或"passage: "开头，即使是非英语文本。
# 对于非检索任务，可以简单地使用"query: "前缀。
input_texts = ["query: 北韩家族法第几次修订中明确规定了离婚判决确定后3个月内登记才有效的条款？",
               "passage: 1990年制定的北韩家族法至今已进行了4次修订。1993年的第1次修订主要是为了提高规定的准确性而修改了一些条款，实质性内容的补充主要是设置了继承的承认与放弃期限的第52条。2004年的第2次修订中新增了第20条第3项，明确规定经判决确定的离婚判决必须在3个月内登记才能产生离婚效力。2007年的第3次修订中新增了父母与子女关系自身份登记机关登记时起产生法律效力的规定（第25条第2项）。此外，关于未成年人、无劳动能力者的扶养（第37条第2项），将原有的"无扶养能力的家庭成员时，由分居的父母或子女、祖父母或孙子女、兄弟姐妹扶养"的规定修改为"无扶养能力的家庭成员时，由分居的父母或子女扶养，若无则由祖父母或孙子女、兄弟姐妹扶养"。",
               "passage: 环境标志制度，认证标准变更减轻企业负担\n环境标志制度介绍\n□ 概述\n○ 与同用途其他产品相比，允许在"产品环境性*"改善的产品上标注标志和说明的认证制度\n※ 产品环境性：在材料与产品的制造、消费、废弃全过程中排放污染物或温室气体等的程度及资源与能源消耗程度等对环境的影响程度（《环境技术与环境产业支援法》第2条第5号）\n□ 法律依据\n○ 《环境技术与环境产业支援法》第17条（环境标志的认证）\n□ 相关国际标准\n○ ISO 14024（第1类环境标志）\n□ 适用对象\n○ 办公设备、家电产品、生活用品、建筑材料等156个产品群\n□ 认证现状\n○ 2,737家企业的16,647个产品（截至2015年12月底）"]

tokenizer = AutoTokenizer.from_pretrained('dragonkue/multilingual-e5-small-ko')
model = AutoModel.from_pretrained('dragonkue/multilingual-e5-small-ko')

# 对输入文本进行标记化
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

# 归一化嵌入
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:1] @ embeddings[1:].T)
print(scores.tolist())

评估

• 此评估参考了KURE GitHub仓库。(https://github.com/nlpai-lab/KURE)
• 我们在MTEB中注册的所有韩语检索基准上进行了评估。

韩语检索基准

• Ko-StrategyQA: 一个韩语开放域问答多跳检索数据集，翻译自StrategyQA。
• AutoRAGRetrieval: 通过解析五个领域（金融、公共、医疗、法律和商业）的PDF构建的韩语文档检索数据集。
• MIRACLRetrieval: 基于维基百科的韩语文档检索数据集。
• PublicHealthQA: 专注于医疗和公共卫生领域的韩语检索数据集。
• BelebeleRetrieval: 基于FLORES-200的韩语文档检索数据集。
• MrTidyRetrieval: 基于维基百科的韩语文档检索数据集。
• XPQARetrieval: 一个跨领域韩语文档检索数据集。

指标

• 标准指标: NDCG@10

信息检索