pipeline_tag: 句子相似度
language: 日语
license: cc-by-sa-4.0
tags:

• transformers
• 句子相似度
• 特征提取
• sentence-transformers
  inference: false
  widget:
• source_sentence: "当前该组件无法正常运行。"
  sentences:
  • "抱歉 :("
  • "请在本地环境中尝试此模型！"
    example_title: "通知"

日语SimCSE（BERT基础版）

日本語のREADME/日语README

概述

模型名称：pkshatech/simcse-ja-bert-base-clcmlp

这是一个日语SimCSE模型，可轻松从日语句子中提取句子嵌入表示。该模型基于cl-tohoku/bert-base-japanese-v2，并在JSNLI数据集（日语自然语言推理数据集）上训练而成。

使用方法（Sentence-Transformers）

可通过sentence-transformers轻松使用本模型。

需安装fugashi和unidic-lite进行分词。

通过pip安装sentence-transformers、fugashi和unidic-lite：

pip install -U fugashi[unidic-lite] sentence-transformers

加载模型并将句子转换为稠密向量的示例：

from sentence_transformers import SentenceTransformer
sentences = [
    "PKSHA Technology致力于提供机器学习/深度学习技术的算法解决方案。",
    "该深度学习模型由PKSHA Technology训练并公开。",
    "广目天是佛教四大天王之一，其名源自梵语'具有多种眼睛者'。",
]

model = SentenceTransformer('pkshatech/simcse-ja-bert-base-clcmlp')
embeddings = model.encode(sentences)
print(embeddings)

由于训练时采用余弦相似度作为损失函数，建议在下游任务中也使用余弦相似度。

模型详情

分词

采用与tohoku/bert-base-japanese-v2相同的分词器，详见tohoku/bert-base-japanese-v2的README。

训练

以tohoku/bert-base-japanese-v2为初始值，在JSNLI训练集上训练20个epoch，并发布在JSTS训练集验证集^1上Spearman相关系数最高的模型检查点。

训练参数

许可协议

本模型遵循知识共享署名-相同方式共享4.0协议。