language: zh tags:

• deberta-v1
• fill-mask thumbnail: https://huggingface.co/front/thumbnails/microsoft.png license: mit

DeBERTa：基于解耦注意力与增强掩码解码的改进型BERT模型

DeBERTa通过解耦注意力机制和增强型掩码解码器改进了BERT与RoBERTa模型。在使用80GB训练数据时，该模型在大多数自然语言理解任务上超越了BERT和RoBERTa的表现。

更多细节与更新请查看官方代码库

自然语言理解任务微调结果

我们展示了在SQuAD 1.1/2.0和MNLI任务上的开发集表现。

引用文献

如果您认为DeBERTa对研究工作有所帮助，请引用以下论文：

@inproceedings{
he2021deberta,
title={DEBERTA: 基于解耦注意力机制的增强型BERT模型},
author={何鹏程 和 刘小东 和 高剑峰 和 陈伟柱},
booktitle={国际学习表征会议},
year={2021},
url={https://openreview.net/forum?id=XPZIaotutsD}
}