language: zh

ERNIE-Gram-中文版

简介

ERNIE-Gram：通过显式N-Gram掩码语言建模进行预训练的自然语言理解模型

更多细节请参阅：https://arxiv.org/abs/2010.12148

已发布模型信息

本次发布的Pytorch模型由官方发布的PaddlePaddle ERNIE模型转换而来，并已通过一系列实验验证转换的准确性。

• 官方PaddlePaddle ERNIE代码库：https://github.com/PaddlePaddle/PaddleNLP/blob/develop/paddlenlp/transformers/ernie_gram/modeling.py
• Pytorch转换代码库：https://github.com/nghuyong/ERNIE-Pytorch

使用方法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nghuyong/ernie-gram-zh")
model = AutoModel.from_pretrained("nghuyong/ernie-gram-zh")