语言:

• 英语 标签:
• 文本分类
• 零样本分类 评估指标:
• 准确率 流水线标签: 零样本分类

DeBERTa-v3-base-mnli-fever-anli

模型描述

该模型基于MultiNLI数据集训练，该数据集包含392,702对NLI假设-前提文本。基础模型为微软的DeBERTa-v3-base。DeBERTa的v3版本通过采用不同的预训练目标显著超越前代模型，详见原版DeBERTa论文的附录11。如需更强大模型，可选用DeBERTa-v3-base-mnli-fever-anli，该模型在更多数据上训练而成。

使用场景与限制

使用方法

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
model_name = "MoritzLaurer/DeBERTa-v3-base-mnli"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
premise = "我最初认为喜欢这部电影，但细想后其实令人失望。"
hypothesis = "这部电影很好。"
input = tokenizer(premise, hypothesis, truncation=True, return_tensors="pt")
output = model(input["input_ids"].to(device))  # device = "cuda:0" 或 "cpu"
prediction = torch.softmax(output["logits"][0], -1).tolist()
label_names = ["蕴含", "中立", "矛盾"]
prediction = {name: round(float(pred) * 100, 1) for pred, name in zip(prediction, label_names)}
print(prediction)

训练数据

本模型基于MultiNLI数据集训练，包含392,702对NLI假设-前提文本。

训练过程

采用Hugging Face训练器，超参数如下：

training_args = TrainingArguments(
    num_train_epochs=5,              # 总训练轮次
    learning_rate=2e-05,
    per_device_train_batch_size=32,   # 训练时每设备批次大小
    per_device_eval_batch_size=32,    # 评估批次大小
    warmup_ratio=0.1,                # 学习率预热步数比例
    weight_decay=0.06,               # 权重衰减强度
    fp16=True                        # 混合精度训练
)

评估结果

在匹配测试集上准确率达0.90。

局限性与偏差

建议参考原版DeBERTa论文及各类NLI数据集文献以了解潜在偏差。

引用信息

若需引用本模型，请引用原版DeBERTa论文、相关NLI数据集，并附Hugging Face模型链接。

合作或咨询

请联系邮箱m{dot}laurer{at}vu{dot}nl或访问LinkedIn

调试说明

注意DeBERTa-v3为新近发布版本，旧版HF Transformers可能存在运行问题（如分词器报错）。建议使用Transformers==4.13版本。

模型回收评估

36个数据集测试显示，以MoritzLaurer/DeBERTa-v3-base-mnli为基础模型的平均得分为80.01，优于基础模型microsoft/deberta-v3-base的79.04。

截至2023年9月1日，该模型在microsoft/deberta-v3-base架构中排名第一。

测试结果：

更多信息参见：模型回收计划