E

Electra Base Generator

由 google 开发
ELECTRA是一种通过判别式预训练的自监督语言表示学习方法,以较低计算成本实现高效训练。
下载量 4,429
发布时间 : 3/2/2022
模型介绍
内容详情
替代品

模型简介

ELECTRA模型通过区分真实与生成的输入标记进行预训练,类似GAN的判别器。适用于小规模单GPU训练和大规模高性能场景。

模型特点

判别式预训练
采用类似GAN的判别器机制,而非传统生成式预训练
高效训练
相比传统方法显著降低计算成本,单GPU即可获得优异效果
多任务适配
支持分类、问答、序列标注等多种下游任务微调

模型能力

文本编码
文本分类
问答系统
序列标注

使用案例

自然语言处理
GLUE基准测试
在通用语言理解评估基准上实现高效微调
SQuAD问答系统
在斯坦福问答数据集上达到最先进性能
SQuAD 2.0上state-of-the-art表现