微软DeBERTa模型：基于解耦注意力机制的增强型BERT架构

DeBERTa通过解耦注意力机制和增强型掩码解码器改进了BERT与RoBERTa模型。在80GB训练数据下，该模型在大多数自然语言理解任务上超越了BERT和RoBERTa的表现。

更多细节与更新请查看官方代码库。

本模型为采用MNLI任务微调的DeBERTa V2 xlarge版本，具有24层网络结构和1536维隐藏层，参数量总计9亿。

自然语言理解任务微调表现

我们在SQuAD 1.1/2.0和多项GLUE基准任务中展示了开发集结果：

技术说明

• ¹ 遵循RoBERTa策略，对于RTE、MRPC、STS-B任务，我们基于DeBERTa-Large-MNLI、DeBERTa-XLarge-MNLI、DeBERTa-V2-XLarge-MNLI、DeBERTa-V2-XXLarge-MNLI进行微调。虽然SST-2/QQP/QNLI/SQuADv2任务从MNLI微调模型起步会获得轻微提升，但上述四个任务我们仅报告从预训练基础模型微调的结果。
• ² 使用HF transformers运行XXLarge模型时需指定**--sharded_ddp**参数

cd transformers/examples/text-classification/  
export TASK_NAME=mrpc  
python -m torch.distributed.launch --nproc_per_node=8 run_glue.py \\
--model_name_or_path microsoft/deberta-v2-xxlarge --task_name $TASK_NAME \\
--do_train --do_eval --max_seq_length 128 --per_device_train_batch_size 4 \\
--learning_rate 3e-6 --num_train_epochs 3 --output_dir /tmp/$TASK_NAME/ \\
--overwrite_output_dir --sharded_ddp --fp16  

学术引用

如果您的研究工作受益于DeBERTa，请引用以下论文：

@inproceedings{  
he2021deberta,  
title={DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION},  
author={Pengcheng He and Xiaodong Liu and Jianfeng Gao and Weizhu Chen},  
booktitle={International Conference on Learning Representations},  
year={2021},  
url={https://openreview.net/forum?id=XPZIaotutsD}  
}