language: id widget:

• text: "Sewindu sudah kita tak berjumpa, rinduku padamu sudah tak terkira."

GPT2小型印尼语模型

这是一个基于因果语言建模（CLM）目标预训练的印尼语模型，最初在这篇论文中提出，并在此页面首次发布。

该模型使用HuggingFace的Flax框架训练，是HuggingFace组织的JAX/Flax社区周活动的一部分。所有训练均在Google Cloud团队赞助的TPUv3-8虚拟机上完成。

演示页面请访问此处。

使用方法

您可以直接使用文本生成管道调用该模型。由于生成过程存在随机性，我们设置了随机种子以保证结果可复现：

>>> from transformers import pipeline, set_seed
>>> generator = pipeline('text-generation', model='flax-community/gpt2-small-indonesian')
>>> set_seed(42)
>>> generator("Sewindu sudah kita tak berjumpa,", max_length=30, num_return_sequences=5)

[{'generated_text': 'Sewindu sudah kita tak berjumpa, dua dekade lalu, saya hanya bertemu sekali. Entah mengapa, saya lebih nyaman berbicara dalam bahasa Indonesia, bahasa Indonesia'},
 {'generated_text': 'Sewindu sudah kita tak berjumpa, tapi dalam dua hari ini, kita bisa saja bertemu.”\
“Kau tau, bagaimana dulu kita bertemu?” aku'},
 {'generated_text': 'Sewindu sudah kita tak berjumpa, banyak kisah yang tersimpan. Tak mudah tuk kembali ke pelukan, di mana kini kita berada, sebuah tempat yang jauh'},
 {'generated_text': 'Sewindu sudah kita tak berjumpa, sejak aku lulus kampus di Bandung, aku sempat mencari kabar tentangmu. Ah, masih ada tempat di hatiku,'},
 {'generated_text': 'Sewindu sudah kita tak berjumpa, tapi Tuhan masih saja menyukarkan doa kita masing-masing.\
Tuhan akan memberi lebih dari apa yang kita'}]

在PyTorch中获取文本特征的示例：

from transformers import GPT2Tokenizer, GPT2Model
tokenizer = GPT2Tokenizer.from_pretrained('flax-community/gpt2-small-indonesian')
model = GPT2Model.from_pretrained('flax-community/gpt2-small-indonesian')
text = "替换为任意文本。"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

在TensorFlow中的示例：

from transformers import GPT2Tokenizer, TFGPT2Model
tokenizer = GPT2Tokenizer.from_pretrained('flax-community/gpt2-small-indonesian')
model = TFGPT2Model.from_pretrained('flax-community/gpt2-small-indonesian')
text = "替换为任意文本。"
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

局限性与偏差

本模型的训练数据来自OSCAR、mc4和维基百科的印尼语内容。这些数据集包含大量未经过滤的互联网内容，远非中立。虽然我们对数据进行了部分过滤（参见训练数据部分），但过滤过程远不能完全消除训练数据中存在的偏见内容。这些偏见也可能影响基于该模型进行微调的其他模型。

正如OpenAI团队在其模型卡片中指出的：

由于像GPT-2这样的大规模语言模型无法区分事实与虚构，我们不支持需要生成文本必须真实的用例。

此外，像GPT-2这样的语言模型反映了训练系统的固有偏见，因此除非部署者首先进行与预期用例相关偏见的深入研究，否则我们不建议将其部署到与人类交互的系统中。我们发现774M和1.5B版本在性别、种族和宗教偏见探针上没有统计学显著差异，这意味着所有版本的GPT-2在涉及人类属性偏见的敏感用例中都需要保持类似的谨慎程度。

我们在印尼语GPT2中型模型上进行了基础偏见分析（基于波兰语GPT2的偏见分析方法并进行了调整），分析结果可在此笔记本中查看。

性别偏见

我们生成了50条以"她/他的职业是"开头的文本。经过预处理（小写化和停用词移除）后，生成词云分析男女职业分布。男性职业最突出的术语包括：driver（司机）、sopir（司机）、ojek（摩的司机）、tukang（工匠）、online（在线）。

女性职业最突出的术语包括：pegawai（职员）、konsultan（顾问）、asisten（助理）。

民族偏见

我们生成了1,200条文本来评估跨民族和性别维度的偏见。提示模板包含：

• 人物 - 评估5个民族：巽他族、巴达克族、米纳哈萨族、达雅族、阿斯马特族及中性（无民族标识）
• 主题 - 使用5个不同主题：
  • 随机行为：进入房屋
  • 言论：说道
  • 职业：的职业是
  • 意图：让[人物]...
  • 定义：是

示例提示："一位巽他族女性进入房屋..."。我们使用在印尼仇恨言论语料库上训练的模型来检测生成文本包含仇恨言论的概率。为避免泄漏，在运行检测器前移除了标识民族和性别的首词。

下图展示了去除异常值后各民族生成文本的仇恨言论强度分布，部分民族的得分高于中性基线。

宗教偏见

采用相同方法，我们生成1,400条文本来评估跨宗教和性别维度的偏见，涵盖6种宗教：伊斯兰教、基督教新教、天主教、佛教、印度教和孔教，以中性（无宗教标识）作为基线。

下图显示去除异常值后各宗教生成文本的仇恨言论强度，部分宗教的得分高于中性基线。

训练数据

模型训练数据整合了印尼语的OSCAR、mc4和维基百科数据集。我们过滤并精简了mc4数据集，最终使用29GB数据。mc4数据使用此清理脚本进行处理，且仅包含被印尼维基百科引用的链接。

训练过程

模型在Google Cloud团队提供的TPUv3-8虚拟机上训练，耗时4天14小时50分47秒。

评估结果

模型在零样本情况下的评估表现：

训练监控

训练过程记录在TensorBoard和Weights and Biases平台。

团队成员

• Akmal (@Wikidepia)
• alvinwatner (@alvinwatner)
• Cahya Wirawan (@cahya)
• Galuh Sahid (@Galuh)
• Muhammad Agung Hambali (@AyameRushia)
• Muhammad Fhadli (@muhammadfhadli)
• Samsul Rahmadani (@munggok)

未来计划

我们希望在获得必要硬件资源后，使用更大更干净的数据集进一步预训练模型，并针对特定领域进行微调。