许可证: cc-by-sa-4.0 语言: 日语 管道标签: 零样本分类 库名称: sentence-transformers 标签:

• 交叉编码器
• tohoku-nlp/bert-base-japanese-v3
• 自然语言推理
• 自然语言推断 数据集:
• shunk031/jsnli
• hpprc/jsick
• shunk031/JGLUE

日语自然语言推理(NLI)交叉编码器

本模型使用SentenceTransformers的交叉编码器类进行训练。模型基于tohoku-nlp/bert-base-japanese-v3构建。

训练数据

模型在以下数据集上进行训练：

• JSNLI
• JNLI (仅训练集)
• JSICK (仅训练集)

对于给定的句子对，模型将输出三个分数，分别对应标签：{0:"蕴含", 1:"中立", 2:"矛盾"}。

使用方法

预训练模型可按如下方式使用：

from sentence_transformers import CrossEncoder
model = CrossEncoder('akiFQC/bert-base-japanese-v3_nli-jsnli')
scores = model.predict([('男人正在吃披萨', '男人正在吃东西'), ('黑色赛车从观众面前出发', '男人正在无人的道路上行驶')])

#将分数转换为标签
label_mapping = ['蕴含', '中立', '矛盾']
labels = [label_mapping[score_max] for score_max in scores.argmax(axis=1)]

使用Transformers AutoModel

您也可以直接使用Transformers库（无需SentenceTransformers库）：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model = AutoModelForSequenceClassification.from_pretrained('cross-encoder/nli-deberta-v3-base')
tokenizer = AutoTokenizer.from_pretrained('cross-encoder/nli-deberta-v3-base')

features = tokenizer(['男人正在吃披萨', '黑色赛车从观众面前出发'], ['男人正在吃东西', '男人正在无人的道路上行驶'], padding=True, truncation=True, return_tensors="pt")

model.eval()
with torch.no_grad():
    scores = model(**features).logits
    label_mapping = ['矛盾', '蕴含', '中立']
    labels = [label_mapping[score_max] for score_max in scores.argmax(dim=1)]
    print(labels)

零样本分类

本模型也可用于零样本分类：

from transformers import pipeline

classifier = pipeline("zero-shot-classification", model='akiFQC/bert-base-japanese-v3_nli-jsnli')

sent = "苹果公司刚刚发布了最新款iPhone"
candidate_labels = ["科技", "体育", "政治"]
res = classifier(sent, candidate_labels)
print(res)

基准测试

JGLUE-JNLI验证集准确率: 0.914