语言: "法语"

标签:

• 法语
• gpt2
• 模型

一个小型法语语言模型，用于法语文本生成（可能还包括其他自然语言处理任务...）

简介

这个法语gpt2模型基于OpenAI的GPT-2小型模型。

它使用迁移学习和微调技术，在仅一天多的时间内，在一个配备1个16GB GPU的Colab Pro上，使用了一个非常小的（190MB）数据集（来自法语维基百科）进行训练。

该模型的创建遵循了Pierre Guillou的方法。

详情参见：https://medium.com/@pierre_guillou/faster-than-training-from-scratch-fine-tuning-the-english-gpt-2-in-any-language-with-hugging-f2ec05c98787

这是一个概念验证，证明了在资源有限的情况下，可以为任何语言获取语言模型的可能性。

它是通过使用Hugging Face库（Transformers和Tokenizers）结合fastai v2深度学习框架，对英文预训练的GPT-2小型模型进行微调而创建的。所有fastai v2的微调技术都被应用其中。

现在该模型已在Hugging Face上提供。如需更多信息或请求，请参阅“比从头训练更快——使用Hugging Face和fastai v2微调英文GPT-2以适用于任何语言（葡萄牙语实际案例）”。

通过使用更大规模的数据集和更强大的训练基础设施，模型可能会得到改进。至少这个模型可以用于小规模的微调实验（例如使用aitextgen）。

注：我丢失了具体的评估指标，但模型能生成法语文本，尽管存在一些轻微的语法问题，文本的连贯性也有限。