许可证: mit
语言: ja
标签:
- luke
- pytorch
- transformers
- jsts
- stsb
- 句子相似度
- SentenceSimilarity

该模型是基于luke-japanese-base微调后用于JSTS（句子相似度计算）任务的版本

此模型利用yahoo japan/JGLUE的JSTS数据集（https://github.com/yahoojapan/JGLUE）对luke-japanese-base进行了微调，可用于计算句子相似度（最高分为5分）。

模型精度

皮尔逊积矩相关系数: 0.8971

使用方法

安装transformers和sentencepiece后，执行以下代码即可进行JSTS（句子相似度计算）任务：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import numpy as np

tokenizer = AutoTokenizer.from_pretrained('Mizuiro-sakura/luke-japanese-base-finetuned-jsts')
model = AutoModelForSequenceClassification.from_pretrained('Mizuiro-sakura/luke-japanese-base-finetuned-jsts')
sentence1 = '今天去银座购物了'
sentence2 = '今天去银座买衣服了'

token = tokenizer(sentence1, sentence2)

import torch
tensor_input_ids = torch.tensor(token["input_ids"])
tensor_attention_masks = torch.tensor(token["attention_mask"])

outputs = model(tensor_input_ids.unsqueeze(0), tensor_attention_masks.unsqueeze(0))

print(outputs.logits[0][1] * 5)

Luke是什么？[1]

LUKE（基于知识的嵌入语言理解模型）是一种基于Transformer的新型预训练上下文表示方法，能同时处理单词和实体。其通过实体感知的自注意力机制扩展了传统Transformer的注意力计算方式，在SQuAD v1.1等五项NLP基准测试中取得了最优结果。luke-japanese是其日语版本。

致谢

感谢LUKE开发者山田先生（@ikuyamada）和Studio ousia团队（@StudioOusia）。

引用文献

[1]@inproceedings{yamada2020luke,
title={LUKE: 基于实体感知自注意力的深度上下文实体表示},
author={山田郁也 and 浅井彰 and 進藤裕之 and 武田英明 and 松本裕治},
booktitle={EMNLP},
year={2020} }