语言:

• 多语言
• 南非荷兰语
• 阿姆哈拉语
• 阿拉伯语
• 阿萨姆语
• 阿塞拜疆语
• 白俄罗斯语
• 保加利亚语
• 孟加拉语
• 布列塔尼语
• 波斯尼亚语
• 加泰罗尼亚语
• 捷克语
• 威尔士语
• 丹麦语
• 德语
• 希腊语
• 英语
• 世界语
• 西班牙语
• 爱沙尼亚语
• 巴斯克语
• 波斯语
• 芬兰语
• 法语
• 弗里斯兰语
• 爱尔兰语
• 苏格兰盖尔语
• 加利西亚语
• 古吉拉特语
• 豪萨语
• 希伯来语
• 印地语
• 克罗地亚语
• 匈牙利语
• 亚美尼亚语
• 印尼语
• 冰岛语
• 意大利语
• 日语
• 爪哇语
• 格鲁吉亚语
• 哈萨克语
• 高棉语
• 卡纳达语
• 韩语
• 库尔德语
• 吉尔吉斯语
• 拉丁语
• 老挝语
• 立陶宛语
• 拉脱维亚语
• 马尔加什语
• 马其顿语
• 马拉雅拉姆语
• 蒙古语
• 马拉地语
• 马来语
• 缅甸语
• 尼泊尔语
• 荷兰语
• 挪威语
• 奥罗莫语
• 奥里亚语
• 旁遮普语
• 波兰语
• 普什图语
• 葡萄牙语
• 罗马尼亚语
• 俄语
• 梵语
• 信德语
• 僧伽罗语
• 斯洛伐克语
• 斯洛文尼亚语
• 索马里语
• 阿尔巴尼亚语
• 塞尔维亚语
• 巽他语
• 瑞典语
• 斯瓦希里语
• 泰米尔语
• 泰卢固语
• 泰语
• 他加禄语
• 土耳其语
• 维吾尔语
• 乌克兰语
• 乌尔都语
• 乌兹别克语
• 越南语
• 科萨语
• 意第绪语
• 中文 许可证: MIT 库名称: sentence-transformers 标签:
• 韩语
• 句子转换器
• 转换器
• 多语言
• 句子转换器
• 句子相似度
• 特征提取 基础模型: intfloat/multilingual-e5-large 数据集: [] 评估指标:
• 皮尔逊余弦相似度
• 斯皮尔曼余弦相似度
• 皮尔逊曼哈顿距离
• 斯皮尔曼曼哈顿距离
• 皮尔逊欧几里得距离
• 斯皮尔曼欧几里得距离
• 皮尔逊点积
• 斯皮尔曼点积
• 皮尔逊最大值
• 斯皮尔曼最大值 小部件:
• 源句子: 埃及军队镇压兄弟会 句子:
  • 埃及军队镇压穆斯林兄弟会
  • 阿根廷的吉列尔莫·科里亚和荷兰的马丁·巴克尔的另一场半决赛也很有吸引力。
  • 认为这可能是真的很有趣。
• 源句子: 哦，并再次主张婚姻是一项基本人权。 句子:
  • 特别是在说婚姻是一项基本人权之后。
  • 海滩上的黑人和他的狗...
  • 伊朗声称其核计划是出于和平目的
• 源句子: 乔治·沙欣曾在安达信咨询业务部门工作。 句子:
  • 预防或避免了112起驱逐事件，节省了151,619美元的庇护费用，并减少了家庭流离失所时的混乱。
  • 安达信咨询仍然是一项蓬勃发展的业务。
  • 当安达信咨询业务部门（现称为埃森哲）的前管理合伙人乔治·沙欣表示支持英国安达信的合伙人吉姆·瓦迪亚，而不是安达信管理层选择的拉里·韦恩巴赫作为安达信全球的管理合伙人时，这一点最为明显。
• 源句子: 该表格显示了主要经济信息。 句子:
  • 表格显示了人口密度。
  • 孩子们在户外玩耍。
  • 表3总结了2010年的主要宏观经济数据，以比较排放减少对个人消费和国内生产总值(GDP)其他组成部分的影响。
• 源句子: 一个戴眼镜的年长男子躺在地板上，和一个婴儿及玩具消防车玩耍。 句子:
  • 一个留着黑色长发、穿着绿色背心的男子正在看他的手指。
  • 戴眼镜的男子是一只猴子，正在和小猴子玩耍。
  • 一个戴眼镜的男子躺在地板上玩耍。 管道标签: 句子相似度 模型索引:
• 名称: upskyy/e5-large-korean 结果:
  • 任务: 类型: 语义相似度 名称: 语义相似度 数据集: 名称: sts开发集 类型: sts-dev 指标:
    • 类型: 皮尔逊余弦相似度 值: 0.8710078333363093 名称: 皮尔逊余弦相似度
    • 类型: 斯皮尔曼余弦相似度 值: 0.8698788475177747 名称: 斯皮尔曼余弦相似度
    • 类型: 皮尔逊曼哈顿距离 值: 0.8598807479137434 名称: 皮尔逊曼哈顿距离
    • 类型: 斯皮尔曼曼哈顿距离 值: 0.8682945370063891 名称: 斯皮尔曼曼哈顿距离
    • 类型: 皮尔逊欧几里得距离 值: 0.8596482760879562 名称: 皮尔逊欧几里得距离
    • 类型: 斯皮尔曼欧几里得距离 值: 0.8679655812613122 名称: 斯皮尔曼欧几里得距离
    • 类型: 皮尔逊点积 值: 0.8684600033706916 名称: 皮尔逊点积
    • 类型: 斯皮尔曼点积 值: 0.8668368265035578 名称: 斯皮尔曼点积
    • 类型: 皮尔逊最大值 值: 0.8710078333363093 名称: 皮尔逊最大值
    • 类型: 斯皮尔曼最大值 值: 0.8698788475177747 名称: 斯皮尔曼最大值

upskyy/e5-large-korean

该模型是基于intfloat/multilingual-e5-large对korsts和kornli数据集进行微调的模型。它将句子和段落映射到一个1024维的密集向量空间，可用于语义文本相似度、语义搜索、释义挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型: 句子转换器
• 基础模型: intfloat/multilingual-e5-large
• 最大序列长度: 512个标记
• 输出维度: 1024个标记
• 相似度函数: 余弦相似度

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

使用方法

使用Sentence-Transformers库

首先安装Sentence Transformers库:

pip install -U sentence-transformers

然后可以加载该模型并运行推理。

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("upskyy/e5-large-korean")

# 运行推理
sentences = [
    '一位带着孩子的妈妈在海滩上散步。',
    '两个人在海滩上散步。',
    '一个男人在海滩上遛狗。',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

使用HuggingFace Transformers库

如果不使用sentence-transformers，可以这样使用模型: 首先将输入通过转换器模型传递，然后需要在上下文化词嵌入之上应用正确的池化操作。

from transformers import AutoTokenizer, AutoModel
import torch


# 均值池化 - 考虑注意力掩码以进行正确的平均
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] # 模型输出的第一个元素包含所有标记嵌入
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)


# 需要获取句子嵌入的句子
sentences = ["你好吗?", "这是一个用于韩语句子嵌入的BERT模型。"]

# 从HuggingFace Hub加载模型
tokenizer = AutoTokenizer.from_pretrained("upskyy/e5-large-korean")
model = AutoModel.from_pretrained("upskyy/e5-large-korean")

# 对句子进行标记化
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors="pt")

# 计算标记嵌入
with torch.no_grad():
    model_output = model(**encoded_input)

# 执行池化。这里使用均值池化。
sentence_embeddings = mean_pooling(model_output, encoded_input["attention_mask"])

print("句子嵌入:")
print(sentence_embeddings)

评估

评估指标

语义相似度

• 数据集: sts-dev
• 使用EmbeddingSimilarityEvaluator评估

框架版本

• Python: 3.10.13
• Sentence Transformers: 3.0.1
• Transformers: 4.42.4
• PyTorch: 2.3.0+cu121
• Accelerate: 0.30.1
• Datasets: 2.16.1
• Tokenizers: 0.19.1

引用

BibTeX引用格式

@article{wang2024multilingual,
  title={Multilingual E5 Text Embeddings: A Technical Report},
  author={Wang, Liang