pipeline_tag: 句子相似度 language: 日语 license: apache-2.0 tags:

• transformers
• 句子相似度
• 特征提取
• sentence-transformers inference: false datasets:
• mc4
• clips/mqa
• shunk031/JGLUE
• paws-x
• MoritzLaurer/multilingual-NLI-26lang-2mil7
• castorini/mr-tydi
• hpprc/jsick base_model: studio-ousia/luke-base

GLuCoSE (基于通用Luke的对比句嵌入)-base-日语版

日本語README/日语README

GLuCoSE（通用LUke对比句嵌入模型，简称"glucose"）是基于LUKE的日语文本嵌入模型。为了创建通用且用户友好的日语文本嵌入模型，GLuCoSE在网页数据和与自然语言推理及搜索相关的多种数据集上进行了混合训练。该模型不仅适用于句子向量相似度任务，也适用于语义搜索任务。

• 最大token数：512
• 输出维度：768
• 池化方式：均值池化
• 支持语言：日语

使用方法

您可以通过sentence-transformers轻松使用此模型。

首先，通过pip安装sentence-transformers：

pip install -U sentence-transformers

加载模型并将句子转换为密集向量的示例如下：

from sentence_transformers import SentenceTransformer
sentences = [
    "PKSHA Technology致力于提供与机器学习/深度学习技术相关的算法解决方案。",
    "这个深度学习模型由PKSHA Technology训练并公开发布。",
    "广目天是佛教四大天王之一，其名称源自梵语'具有多种眼睛的存在'。",
]

model = SentenceTransformer('pkshatech/GLuCoSE-base-ja')
embeddings = model.encode(sentences)
print(embeddings)

由于训练时使用的损失函数是余弦相似度，我们建议在下游任务中也使用余弦相似度。

该文本嵌入模型也可用于LangChain。更多信息请参考此页面。

训练资源

以下资源被用于训练此模型。

预训练模型

• studio-ousia/luke-japanese-base-lite

数据集

• mC4
• MQA
• JNLI
• JSNLI
• PAWS-X
• JSeM
• MoritzLaurer/multilingual-NLI-26lang-2mil7
  • MultiNLI
  • WANLI
  • FeverNLI
  • LingNLI
• JSICK
• Mr.Tidy
• JSTS (用于验证)^1

性能基准

语义相似度计算（JSTS开发集）

通过斯皮尔曼相关系数和皮尔逊相关系数评估。

零样本搜索（AIO3开发集）

通过top-k检索准确率评估^4（在top-k检索到的文档中至少有一次包含正确答案的问题比例。）

作者

Akihiko Fukuchi, Yuichiro Hoshino, Yotarow Watanabe

许可证

本模型基于Apache License, Version 2.0发布。