语言: 英文
缩略图: https://huggingface.co/front/thumbnails/google.png

许可证: apache-2.0

ELECTRA：将文本编码器预训练为判别器而非生成器

ELECTRA 是一种新型的自监督语言表示学习方法。它能够以相对较少的计算资源预训练Transformer网络。ELECTRA模型通过区分“真实”输入标记与另一神经网络生成的“伪造”输入标记进行训练，类似于生成对抗网络（GAN）中的判别器。在小规模场景下，ELECTRA仅需单块GPU即可取得强劲效果；在大规模场景中，ELECTRA则在SQuAD 2.0数据集上实现了最先进的性能。

详细方法说明与实验结果请参阅论文ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators。

本代码库包含ELECTRA的预训练实现，支持单GPU训练小型ELECTRA模型，同时支持在下游任务中进行微调，包括分类任务（如GLUE）、问答任务（如SQuAD）以及序列标注任务（如文本分块）。

如何在transformers中使用生成器

from transformers import pipeline  

fill_mask = pipeline(  
	"fill-mask",  
	model="google/electra-large-generator",  
	tokenizer="google/electra-large-generator"  
)  

print(  
	fill_mask(f"HuggingFace正在创建一个{nlp.tokenizer.mask_token}，供社区用于解决NLP任务。")  
)