语言:

• 英文

标签:

• 文本分类
• 零样本分类

评估指标:

• 准确率

示例输入:

• 文本: "这部电影因剧情受到批评。但我觉得它很棒。[SEP]我喜欢这部电影。"

DeBERTa-v3-large-mnli模型

模型描述

本模型基于多体裁自然语言推理(MultiNLI)数据集训练，该数据集包含43.3万组具有文本蕴含关系的句子对。

模型采用微软DeBERTa-v3-large架构。通过使用解耦注意力机制和增强型掩码解码器，DeBERTa v3在大多数NLU基准测试中超越了Bert和RoBERTa的表现。原始模型的更多信息详见官方代码库及论文。

使用范围与限制

调用方式

前提 = "这部电影因剧情受到批评。但我觉得它很棒。"
假设 = "我喜欢这部电影。"
输入 = tokenizer(前提, 假设, truncation=True, return_tensors="pt")
输出 = model(输入["input_ids"].to(设备))  # 设备可选"cuda:0"或"cpu"
预测结果 = torch.softmax(输出["logits"][0], -1)
标签名称 = ["蕴含", "中立", "矛盾"]
print(标签名称[预测结果.argmax(0).tolist()])

训练数据

采用MultiNLI数据集训练，包含39.2万组文本蕴含关系样本。

训练参数

使用Hugging Face训练器进行训练，关键超参数如下：

训练参数 = TrainingArguments(
    学习率=2e-5,
    单设备训练批次=8,
    单设备评估批次=8,
    训练轮次=3,
    预热比例=0.06,
    权重衰减=0.1,
    混合精度=True,
    随机种子=42,
)

引用文献

若使用本模型，请引用DeBERTa论文和MultiNLI数据集论文，并注明本Huggingface模型库。