语言：

• 日语

标签：

• 句子相似度
• 特征提取

基础模型：cl-nagoya/ruri-pt-large

小部件：[]

管道标签：句子相似度

许可证：apache-2.0

数据集：

• cl-nagoya/ruri-dataset-ft

Ruri：日语通用文本嵌入模型

注意：v3版本模型已发布！
我们推荐使用以下v3版本模型：

使用方法

首先安装Sentence Transformers库：

pip install -U sentence-transformers fugashi sentencepiece unidic-lite

然后加载模型并进行推理：

import torch.nn.functional as F
from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载模型
model = SentenceTransformer("cl-nagoya/ruri-large")

# 注意：查询文本需添加前缀"クエリ: "，段落文本需添加"文章: "
sentences = [
    "クエリ: 瑠璃色是什么颜色？",
    "文章: 瑠璃色（るりいろ）是一种带紫色的深蓝色。名称源自半宝石琉璃（青金石，英文：lapis lazuli）。在JIS惯用色名中定义为「浓紫调蓝色」（简称 dp-pB）[1][2]。",
    "クエリ: 像鹰或雕这样，具有锐利喙和爪的大型鸟类统称为什么类？",
    "文章: 鹰、雕、秃鹫、隼、秃鹰、猫头鹰是代表性物种。这些猛禽在林奈时代（17~18世纪）被分类为鹰类·雕类·隼类及鸮类。值得一提的是，林奈将捕食性鸟类归为单一目，包含vultur(秃鹰、秃鹫)、falco(鹰、雕、隼等)、strix(猫头鹰)、lanius(伯劳)四个属。",
]

embeddings = model.encode(sentences, convert_to_tensor=True)
print(embeddings.size())
# [4, 1024]

similarities = F.cosine_similarity(embeddings.unsqueeze(0), embeddings.unsqueeze(1), dim=2)
print(similarities)
# [[1.0000, 0.9429, 0.6565, 0.6997],
#  [0.9429, 1.0000, 0.6579, 0.6768],
#  [0.6565, 0.6579, 1.0000, 0.8933],
#  [0.6997, 0.6768, 0.8933, 1.0000]]

基准测试

JMTEB

使用JMTEB评估。