🚀 DeBERTa-v3-base-mnli-fever-anli

本模型基于Transformer架构，在多自然语言推理（NLI）任务中表现出色。它能对前提和假设进行零样本分类，判断它们之间是蕴含、中立还是矛盾关系，可广泛应用于文本分类等领域。

🚀 快速开始

此特定模型基于仓库 MoritzLaurer/DeBERTa-v3-base-mnli 构建，并添加了 handler.py 文件，以便更轻松地在推理端点中使用该模型，对前提和假设进行零样本分类比较，判断它们之间是蕴含、中立还是矛盾关系。

✨ 主要特性

• 基于 DeBERTa-v3-base 模型，在预训练目标上进行改进，性能优于之前版本。
• 可用于零样本分类任务，对前提和假设的关系进行分类。
• 在 MultiNLI 数据集上进行训练，具有较好的泛化能力。

📦 安装指南

文档未提及具体安装步骤，可参考 transformers 库的安装方法：

pip install transformers

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
model_name = "MoritzLaurer/DeBERTa-v3-base-mnli"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
premise = "I first thought that I liked the movie, but upon second thought it was actually disappointing."
hypothesis = "The movie was good."
input = tokenizer(premise, hypothesis, truncation=True, return_tensors="pt")
output = model(input["input_ids"].to(device))  # device = "cuda:0" or "cpu"
prediction = torch.softmax(output["logits"][0], -1).tolist()
label_names = ["entailment", "neutral", "contradiction"]
prediction = {name: round(float(pred) * 100, 1) for pred, name in zip(prediction, label_names)}
print(prediction)

高级用法

YOUR INFERENCE ENDPOINT URL HERE \
 -X POST \
 -d '{"inputs": {"premise": "A man is walking his dog in the park.", "hypothesis": "A person is outside with an animal."}}' \
 -H "Authorization: Bearer hf_YOUR_TOKEN_HERE" \
 -H "Content-Type: application/json"

📚 详细文档

模型描述

该模型在 MultiNLI 数据集上进行训练，该数据集包含 392702 个 NLI 假设 - 前提对。基础模型是 Microsoft 的 DeBERTa-v3-base。DeBERTa 的 v3 变体通过采用不同的预训练目标，显著优于该模型的先前版本，详见原始 DeBERTa 论文 的附录 11。若需要更强大的模型，可查看 DeBERTa-v3-base-mnli-fever-anli，它在更多数据上进行了训练。

训练数据

此模型在 MultiNLI 数据集上进行训练，该数据集包含 392702 个 NLI 假设 - 前提对。

训练过程

DeBERTa-v3-base-mnli 使用 Hugging Face 训练器进行训练，超参数如下：

training_args = TrainingArguments(
    num_train_epochs=5,              # total number of training epochs
    learning_rate=2e-05,
    per_device_train_batch_size=32,   # batch size per device during training
    per_device_eval_batch_size=32,    # batch size for evaluation
    warmup_ratio=0.1,                # number of warmup steps for learning rate scheduler
    weight_decay=0.06,               # strength of weight decay
    fp16=True                        # mixed precision training
)

评估结果

该模型使用匹配测试集进行评估，准确率达到 0.90。

局限性和偏差

请参考原始 DeBERTa 论文和不同 NLI 数据集的相关文献，以了解潜在的偏差。

BibTeX 引用和引用信息

如果您想引用此模型，请引用原始 DeBERTa 论文、相应的 NLI 数据集，并包含此模型在 Hugging Face 中心的链接。

合作想法或问题咨询

如果您有问题或合作想法，请通过 m{dot}laurer{at}vu{dot}nl 或 LinkedIn 联系我。

调试和问题解决

请注意，DeBERTa-v3 最近才发布，较旧版本的 HF Transformers 在运行该模型时似乎存在问题（例如，导致分词器出现问题）。使用 Transformers==4.13 可能会解决一些问题。

模型再利用

36 个数据集的评估 显示，以 MoritzLaurer/DeBERTa-v3-base-mnli 为基础模型的平均得分达到 80.01，而 microsoft/deberta-v3-base 的平均得分是 79.04。截至 2023 年 9 月 1 日，该模型在所有测试的 microsoft/deberta-v3-base 架构模型中排名第一。

评估结果如下：

更多信息请参考：模型再利用

⚠️ 重要提示

DeBERTa-v3 最近才发布，较旧版本的 HF Transformers 在运行该模型时似乎存在问题（例如，导致分词器出现问题）。使用 Transformers==4.13 可能会解决一些问题。

💡 使用建议

若需要更强大的模型，可查看 DeBERTa-v3-base-mnli-fever-anli，它在更多数据上进行了训练。