language:

• en license: mit tags:
• generated_from_trainer
• deberta-v3 datasets:
• glue metrics:
• accuracy model-index:
• name: ds_results results:
  • task: name: 文本分类 type: text-classification dataset: name: GLUE MNLI type: glue args: mnli metrics:
    • name: 准确率 type: accuracy value: 0.874593165174939

基于MNLI微调的DeBERTa v3（小规模版）

本模型是在GLUE MNLI数据集上对microsoft/deberta-v3-small进行微调的版本。
评估集表现如下：

• 损失值: 0.4985
• 准确率: 0.8746

模型描述

DeBERTa通过解耦注意力机制和增强型掩码解码器改进了BERT与RoBERTa模型。凭借这两项创新，DeBERTa在使用80GB训练数据时，在多数自然语言理解任务上超越了RoBERTa。更多细节与更新请参阅官方代码库。
在DeBERTa V3中，我们采用ELECTRA提出的RTD（替换词检测）目标替代了原始MLM预训练目标，并引入了将在后续论文中阐述的创新技术。相比V2版本，V3在下游任务中表现出显著提升。模型简要介绍可参考原始论文附录A11，详细技术说明将另行发布。
DeBERTa V3小规模版包含6层网络结构，隐藏层维度为768。由于采用128K词表的嵌入层包含9800万参数，模型总参数量达1.43亿。本模型使用与DeBERTa V2相同的160GB数据进行训练。

预期用途与限制

需补充更多信息

训练与评估数据

多类型自然语言推理语料库（MNLI）是通过众包收集的带有文本蕴含标注的句子对集合。给定前提句和假设句，任务需要预测前提是否蕴含假设（蕴含）、与假设矛盾（矛盾）或两者皆非（中立）。前提句来源于十种不同领域，包括转录语音、小说和政府报告。基准测试采用标准测试集，并同时在匹配（同领域）和不匹配（跨领域）子集上进行评估。作者还推荐使用包含55万示例的SNLI语料库作为辅助训练数据。

训练过程

训练超参数

训练采用以下超参数配置：

• 学习率: 3e-05
• 训练批大小: 16
• 评估批大小: 8
• 随机种子: 42
• 优化器: Adam（β1=0.9, β2=0.999, ε=1e-08）
• 学习率调度器类型: 线性
• 学习率预热步数: 1000
• 训练轮次: 3.0

训练结果

（此处保留原始训练过程表格数据，仅翻译表头）

框架版本

• Transformers 4.13.0.dev0
• Pytorch 1.10.0+cu111
• Datasets 1.15.1
• Tokenizers 0.10.3