语言:

• 英文
  许可证: MIT
  数据集:
• GLUE
• Facebook/ANLI
  任务标签: 零样本分类
  基础模型: intfloat/e5-base-v2
  模型索引:
• 名称: e5-base-v2-mnli-anli
  结果: []

e5-base-v2-mnli-anli

该模型是基于intfloat/e5-base-v2在GLUE（MNLI）和ANLI数据集上微调的版本。

模型描述

通过弱监督对比预训练生成的文本嵌入。
作者：Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder, Furu Wei，arXiv 2022

如何使用该模型

使用零样本分类流程

可以通过zero-shot-classification流程加载模型：

from transformers import pipeline  
classifier = pipeline("zero-shot-classification",  
                      model="mjwong/e5-base-v2-mnli-anli")  

然后，您可以使用此流程将序列分类为您指定的任何类别名称。

sequence_to_classify = "总有一天我会环游世界"  
candidate_labels = ['旅行', '烹饪', '舞蹈']  
classifier(sequence_to_classify, candidate_labels)  

如果多个候选标签可能正确，传递multi_class=True以独立计算每个类别：

candidate_labels = ['旅行', '烹饪', '舞蹈', '探险']  
classifier(sequence_to_classify, candidate_labels, multi_class=True)  

手动使用PyTorch

该模型也可以如下应用于自然语言推理（NLI）任务：

import torch  
from transformers import AutoTokenizer, AutoModelForSequenceClassification  

# device = "cuda:0" 或 "cpu"  
device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")  

model_name = "mjwong/e5-base-v2-mnli-anli"  
tokenizer = AutoTokenizer.from_pretrained(model_name)  
model = AutoModelForSequenceClassification.from_pretrained(model_name)  

premise = "但我以为你戒掉咖啡了。"  
hypothesis = "我以为你发誓要多喝咖啡。"  

input = tokenizer(premise, hypothesis, truncation=True, return_tensors="pt")  
output = model(input["input_ids"].to(device))  
prediction = torch.softmax(output["logits"][0], -1).tolist()  
label_names = ["蕴含", "中立", "矛盾"]  
prediction = {name: round(float(pred) * 100, 2) for pred, name in zip(prediction, label_names)}  
print(prediction)  

评估结果

该模型使用MultiNLI的开发集和ANLI的测试集进行评估，采用的指标是准确率。

训练超参数

训练过程中使用了以下超参数：

• 学习率: 2e-05
• 训练批次大小: 16
• 评估批次大小: 16
• 随机种子: 42
• 优化器: Adam，参数beta=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型: 线性
• 学习率预热比例: 0.1

框架版本

• Transformers 4.28.1
• PyTorch 1.12.1+cu116
• Datasets 2.11.0
• Tokenizers 0.12.1