微软DeBERTa模型：基于解耦注意力机制的增强型BERT解码架构

DeBERTa通过解耦注意力机制和增强型掩码解码器改进了BERT与RoBERTa模型。在使用80GB训练数据时，其在大多数自然语言理解任务上表现优于原版模型。

更多细节与更新请访问官方代码库。

当前版本为DeBERTa V2 xlarge模型，包含24个网络层和1536维隐藏状态，参数量达9亿，训练数据规模为160GB原始文本。

自然语言理解任务微调表现

下表展示了在SQuAD 1.1/2.0和GLUE基准测试中的开发集结果：

技术说明

• ¹ 参照RoBERTa方案，对RTE/MRPC/STS-B任务的微调基于MNLI微调后的DeBERTa-Large-MNLI、DeBERTa-XLarge-MNLI、DeBERTa-V2-XLarge-MNLI和DeBERTa-V2-XXLarge-MNLI模型进行。虽然SST-2/QQP/QNLI/SQuADv2任务从MNLI微调模型出发也能提升效果，但上述四个任务我们仅报告基于预训练基础模型的微调结果。
• ² 使用HuggingFace Transformers运行XXLarge模型时需指定**--sharded_ddp**参数

cd transformers/examples/text-classification/  
export TASK_NAME=mrpc  
python -m torch.distributed.launch --nproc_per_node=8 run_glue.py   --model_name_or_path microsoft/deberta-v2-xxlarge   \\\\
--task_name $TASK_NAME   --do_train   --do_eval   --max_seq_length 128   --per_device_train_batch_size 4   \\\\
--learning_rate 3e-6   --num_train_epochs 3   --output_dir /tmp/$TASK_NAME/ --overwrite_output_dir --sharded_ddp --fp16  

文献引用

若DeBERTa对您的研究有所帮助，请引用以下论文：

@inproceedings{  
he2021deberta,  
title={DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION},  
author={Pengcheng He and Xiaodong Liu and Jianfeng Gao and Weizhu Chen},  
booktitle={International Conference on Learning Representations},  
year={2021},  
url={https://openreview.net/forum?id=XPZIaotutsD}  
}