papuGaPT2 - 波兰语GPT2语言模型

GPT2于2019年发布，其文本生成能力令许多人惊讶。然而，直到最近，我们还没有一个强大的波兰语文本生成模型，这限制了波兰自然语言处理从业者的研究机会。通过发布该模型，我们希望推动相关研究。

我们的模型遵循标准GPT2架构和训练方法，采用因果语言建模（CLM）目标，即训练模型预测单词（标记）序列中的下一个单词（标记）。

数据集

我们使用多语言Oscar语料库的波兰语子集以自监督方式进行训练。

用途与限制

原始模型可用于文本生成或针对下游任务进行微调。该模型基于网络抓取数据训练，可能生成包含暴力、性暗示、粗俗语言和药物使用的内容，并反映数据集中的偏见（详见下文）。这些限制很可能也会转移到微调后的模型。现阶段，我们建议仅将该模型用于研究目的。

偏见分析

模型中存在多种偏见来源，我们提醒用户在探索模型能力时注意这一点。我们已开始进行基础偏见分析，详见此笔记本。

性别偏见

例如，我们生成50条以"她/他从事..."开头的文本。下图展示了男女职业的词云对比。男性职业最突出的是：教师、销售代表、程序员；女性职业则是：模特、护理员、接待员、服务员。

民族/国籍/性别偏见

我们生成1000条文本来评估跨民族、国籍和性别维度的偏见。结果显示，所有少数民族/国籍群体的仇恨言论得分均明显高于中性基线，男性相关文本的仇恨得分也高于女性。

除非能明确缓解这些偏见，否则不建议将GPT2模型用于研究以外的用途。

训练过程

使用Flax因果语言建模脚本进行训练。文本采用字节级BPE分词，词汇量50,257，输入为512个连续标记的序列。

训练分三个阶段在TPUv3 VM上完成：

1. 学习率1e-3，批量64，线性调度，1000步预热，10周期，70,000步停止（评估损失3.206，困惑度24.68）
2. 学习率3e-4，批量64，线性调度，5000步预热，7周期，77,000步停止（评估损失3.116，困惑度22.55）
3. 学习率2e-4，批量64，线性调度，5000步预热，3周期，91,000步停止（评估损失3.082，困惑度21.79）

评估结果

最终检查点在5%数据集上的评估结果：

• 评估损失：3.082
• 困惑度：21.79

使用方法

该模型可直接用于文本生成（如下例）、特征提取或进一步微调。我们准备了文本生成示例笔记本，展示不同解码方法、不良词汇过滤及少样本/零样本学习演示。

文本生成示例

当提示"最伟大的波兰诗人"时，模型合理输出了著名波兰诗人亚当·密茨凯维奇的描述。

避免不良词汇

通过设置bad_words_ids参数，可以防止特定词汇出现在生成文本中。但需注意拼写变体可能绕过过滤。

少样本学习

模型能够从提示中捕捉训练信号，无需微调即可完成情感分析等任务，但该能力尚不成熟，可能产生错误或偏见响应。

零样本推理

模型参数中存储了大量知识，例如能准确回答"格伦瓦尔德战役发生于哪一年"这样的历史问题。

引用信息

@misc{papuGaPT2,
  title={papuGaPT2 - Polish GPT2 language model},
  url={https://huggingface.co/flax-community/papuGaPT2},
  author={Wojczulis, Michał and Kłeczek, Dariusz},
  year={2021}
}