AIbase

D

Deberta Base

由 kamalkraj 开发
DeBERTa 是一种基于解耦注意力机制的增强型 BERT 解码模型，改进了 BERT 和 RoBERTa 模型，在自然语言理解任务中表现优异。
大型语言模型
Transformers
英语
开源协议:MIT#解耦注意力机制#增强型掩码解码#自然语言理解
下载量 287
发布时间 : 3/2/2022
模型介绍
内容详情
替代品

模型简介

DeBERTa 通过解耦注意力机制与增强型掩码解码器改进了 BERT 和 RoBERTa 模型，适用于自然语言理解任务。

模型特点

解耦注意力机制
通过解耦注意力机制改进了 BERT 和 RoBERTa 模型，提升了模型性能。
增强型掩码解码器
采用增强型掩码解码器，进一步优化了模型的解码能力。
高性能
在 80GB 训练数据下，DeBERTa 在大多数自然语言理解任务中表现优于 BERT 和 RoBERTa。

模型能力

自然语言理解
文本分类
问答系统

使用案例

自然语言处理
问答系统
DeBERTa 可用于构建高性能的问答系统，如 SQuAD 1.1/2.0 任务。
在 SQuAD 1.1 上达到 93.1/87.2，SQuAD 2.0 上达到 86.2/83.1。
文本分类
DeBERTa 可用于文本分类任务，如 MNLI 任务。
在 MNLI-m 上达到 88.8。