ERNIE-2.0

简介

ERNIE 2.0是百度于2019年提出的持续预训练框架，通过持续的多任务学习逐步构建和优化预训练任务。实验结果表明，在GLUE基准测试的英文任务及多项中文常见任务等16个任务中，ERNIE 2.0的表现均优于BERT和XLNet模型。

更多细节详见：https://arxiv.org/abs/1907.12412

已发布模型信息

本次发布的PyTorch模型由官方PaddlePaddle版ERNIE模型转换而来，并已通过系列实验验证转换准确性。

• 官方PaddlePaddle版ERNIE仓库：https://github.com/PaddlePaddle/ERNIE
• PyTorch转换版仓库：https://github.com/nghuyong/ERNIE-Pytorch

使用方式

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nghuyong/ernie-2.0-base-en")
model = AutoModel.from_pretrained("nghuyong/ernie-2.0-base-en")

文献引用

@article{sun2019ernie20,
  title={ERNIE 2.0: A Continual Pre-training Framework for Language Understanding},
  author={Sun, Yu and Wang, Shuohuan and Li, Yukun and Feng, Shikun and Tian, Hao and Wu, Hua and Wang, Haifeng},
  journal={arXiv preprint arXiv:1907.12412},
  year={2019} 
}