语言:

• 日语

库名称: sentence-transformers

标签:

• 句子转换器
• 句子相似度
• 特征提取

评估指标:

• 皮尔逊余弦相似度
• 斯皮尔曼余弦相似度
• 皮尔逊曼哈顿距离
• 斯皮尔曼曼哈顿距离
• 皮尔逊欧几里得距离
• 斯皮尔曼欧几里得距离
• 皮尔逊点积
• 斯皮尔曼点积
• 皮尔逊最大值
• 斯皮尔曼最大值

小部件: []

管道标签: 句子相似度

数据集:

• hpprc/emb
• hpprc/mqa-ja
• google-research-datasets/paws-x

基础模型: pkshatech/GLuCoSE-base-ja

许可证: apache-2.0

GLuCoSE v2

该模型是一款通用日语文本嵌入模型，在检索任务中表现优异。可在CPU上运行，专为测量句子间语义相似度设计，同时可作为基于查询的段落检索系统使用。

核心特性：

• 专精检索任务，在MIRACL等任务中展现同尺寸模型中的最高性能
• 针对日语文本处理优化
• 支持CPU运行

推理时需添加"query: "或"passage: "前缀。具体用法请参阅使用说明章节。

模型说明

本模型基于GLuCoSE，通过多个大规模嵌入模型的蒸馏和多阶段对比学习进行微调。

• 最大序列长度: 512个标记
• 输出维度: 768维
• 相似度计算: 余弦相似度

使用方法

直接使用（Sentence Transformers）

可通过以下代码使用SentenceTransformer进行推理：

from sentence_transformers import SentenceTransformer
import torch.nn.functional as F

# 从🤗 Hub下载
model = SentenceTransformer("pkshatech/GLuCoSE-base-ja-v2")

# 每个输入文本需以"query: "或"passage: "开头
# 非检索任务可统一使用"query: "前缀
sentences = [
    'query: PKSHA是怎样的公司？',
    'passage: 我们将研发的算法引入众多企业的软件运营中。',
    'query: 日本最高山峰是？',
    'passage: 富士山（海拔3776.12米）是日本最高峰（剑峰），其优美山姿作为日本象征广为人知。',
]
embeddings = model.encode(sentences,convert_to_tensor=True)
print(embeddings.shape)
# [4, 768]

# 计算嵌入相似度
similarities = F.cosine_similarity(embeddings.unsqueeze(0), embeddings.unsqueeze(1), dim=2)
print(similarities)
# [[1.0000, 0.6050, 0.4341, 0.5537],
# [0.6050, 1.0000, 0.5018, 0.6815],
# [0.4341, 0.5018, 1.0000, 0.7534],
# [0.5537, 0.6815, 0.7534, 1.0000]]

直接使用（Transformers）

可通过以下代码使用Transformers进行推理：

import torch.nn.functional as F
from torch import Tensor
from transformers import AutoTokenizer, AutoModel

def mean_pooling(last_hidden_states: Tensor,attention_mask: Tensor) -> Tensor:
    emb = last_hidden_states * attention_mask.unsqueeze(-1)
    emb = emb.sum(dim=1) / attention_mask.sum(dim=1).unsqueeze(-1)
    return emb

# 从🤗 Hub下载
tokenizer = AutoTokenizer.from_pretrained("pkshatech/GLuCoSE-base-ja-v2")
model = AutoModel.from_pretrained("pkshatech/GLuCoSE-base-ja-v2")

# 每个输入文本需以"query: "或"passage: "开头
# 非检索任务可统一使用"query: "前缀
sentences = [
    'query: PKSHA是怎样的公司？',
    'passage: 我们将研发的算法引入众多企业的软件运营中。',
    'query: 日本最高山峰是？',
    'passage: 富士山（海拔3776.12米）是日本最高峰（剑峰），其优美山姿作为日本象征广为人知。',
]

# 文本编码
batch_dict = tokenizer(sentences, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = mean_pooling(outputs.last_hidden_state, batch_dict['attention_mask'])
print(embeddings.shape)
# [4, 768]

# 计算嵌入相似度
similarities = F.cosine_similarity(embeddings.unsqueeze(0), embeddings.unsqueeze(1), dim=2)
print(similarities)
# [[1.0000, 0.6050, 0.4341, 0.5537],
# [0.6050, 1.0000, 0.5018, 0.6815],
# [0.4341, 0.5018, 1.0000, 0.7534],
# [0.5537, 0.6815, 0.7534, 1.0000]]

训练细节

GLuCoSE v2通过以下步骤进行微调：

第一阶段：集成蒸馏

• 使用E5-mistral、gte-Qwen2和mE5-large作为教师模型进行嵌入表示蒸馏

第二阶段：对比学习

• 基于JSNLI、MNLI、PAWS-X、JSeM和Mr.TyDi构建三元组进行训练
• 旨在提升模型作为句子嵌入模型的整体性能

第三阶段：检索专用对比学习

• 通过两阶段QA和检索任务训练增强模型检索能力
• 第一阶段使用合成数据集auto-wiki-qa
• 第二阶段使用JQaRA、MQA、日本维基百科人工检索、Mr.TyDi、MIRACL、Quiz Works和Quiz No Mori等数据集

基准测试

检索性能

在MIRACL-ja、JQARA、JaCWIR和MLDR-ja上的评估结果：

注：JQARA和JaCWIR中OpenAI小模型结果引自原始数据集说明。

JMTEB评估

在JMTEB基准测试结果（宏观平均）：

注：OpenAI和multilingual-e5模型结果引自JMTEB排行榜，ruri结果引自其模型卡。

作者

矢野千尋、呉望舒、立花英之、竹川大翔、渡辺洋太郎

许可

本模型基于Apache 2.0许可证发布。