语言: 英文
标签:

• deberta-v3
• deberta-v2
• deberta-mnli
  任务: mnli
  缩略图: https://huggingface.co/front/thumbnails/microsoft.png
  许可证: mit
  管道标签: 零样本分类

DeBERTa：基于解耦注意力机制的增强型BERT解码模型

DeBERTa通过解耦注意力机制和增强型掩码解码器改进了BERT和RoBERTa模型。在80GB训练数据下，其在大多数自然语言理解任务上超越了BERT和RoBERTa的表现。
更多详情与更新请访问官方代码库。
此为DeBERTa V2 xxlarge模型，包含48层网络和1536维隐藏层，参数量达15亿，训练数据规模为160GB原始文本。

自然语言理解任务微调结果

下表展示了在SQuAD 1.1/2.0及多项GLUE基准任务上的开发集表现：

说明

• ¹ 参照RoBERTa方法，对于RTE、MRPC、STS-B任务，我们基于MNLI微调版本模型进行二次微调。虽然SST-2/QQP/QNLI/SQuADv2任务从MNLI微调模型起步也能提升效果，但表格中这四项任务仅报告基于预训练模型的直接微调结果。
• ² 使用HuggingFace Transformers运行XXLarge模型时，推荐采用deepspeed技术以提升速度并节省内存。

通过Deepspeed运行：

pip install datasets  
pip install deepspeed  
# 下载deepspeed配置文件  
wget https://huggingface.co/microsoft/deberta-v2-xxlarge/resolve/main/ds_config.json -O ds_config.json  
export TASK_NAME=mnli  
output_dir="ds_results"  
num_gpus=8  
batch_size=8  
python -m torch.distributed.launch --nproc_per_node=${num_gpus} \  
  run_glue.py \  
  --model_name_or_path microsoft/deberta-v2-xxlarge \  
  --task_name $TASK_NAME \  
  --do_train \  
  --do_eval \  
  --max_seq_length 256 \  
  --per_device_train_batch_size ${batch_size} \  
  --learning_rate 3e-6 \  
  --num_train_epochs 3 \  
  --output_dir $output_dir \  
  --overwrite_output_dir \  
  --logging_steps 10 \  
  --logging_dir $output_dir \  
  --deepspeed ds_config.json  

亦可使用--sharded_ddp模式运行：

cd transformers/examples/text-classification/  
export TASK_NAME=mnli  
python -m torch.distributed.launch --nproc_per_node=8 run_glue.py   --model_name_or_path microsoft/deberta-v2-xxlarge   \  
--task_name $TASK_NAME   --do_train   --do_eval   --max_seq_length 256   --per_device_train_batch_size 8   \  
--learning_rate 3e-6   --num_train_epochs 3   --output_dir /tmp/$TASK_NAME/ --overwrite_output_dir --sharded_ddp --fp16  

引用

若DeBERTa对您的研究有所帮助，请引用以下论文：

@inproceedings{  
he2021deberta,  
title={DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION},  
author={Pengcheng He and Xiaodong Liu and Jianfeng Gao and Weizhu Chen},  
booktitle={International Conference on Learning Representations},  
year={2021},  
url={https://openreview.net/forum?id=XPZIaotutsD}  
}