语言: 中文 标签:

• deberta-v1
• deberta-mnli 任务: mnli 缩略图: https://huggingface.co/front/thumbnails/microsoft.png 许可协议: mit 小部件:
• 文本: "[CLS] 我爱你。[SEP] 我喜欢你。[SEP]"

DeBERTa：基于解耦注意力机制的增强型BERT解码模型

DeBERTa通过解耦注意力机制和增强型掩码解码器改进了BERT与RoBERTa模型。在使用80GB训练数据时，该模型在大多数自然语言理解任务上超越了BERT和RoBERTa的表现。

更多详情与更新请查阅官方代码库。

本模型是基于MNLI任务微调的DeBERTa基础版本。

自然语言理解任务微调结果

我们在SQuAD 1.1/2.0和MNLI任务上的开发集表现如下：

引用文献

若DeBERTa对您的研究有所助益，请引用以下论文：

@inproceedings{
he2021deberta,
title={DEBERTA: 基于解耦注意力机制的增强型BERT解码模型},
author={何鹏程 and 刘小东 and 高剑峰 and 陈伟柱},
booktitle={国际学习表征会议},
year={2021},
url={https://openreview.net/forum?id=XPZIaotutsD}
}