language: id widget:

• text: "Sewindu sudah kita tak berjumpa, rinduku padamu sudah tak terkira."

GPT2小型印尼语模型

这是一个基于因果语言建模（CLM）目标预训练的印尼语模型，最初由这篇论文提出，并在此页面首次发布。

该模型使用HuggingFace的Flax框架训练，是HuggingFace组织的JAX/Flax社区周活动的一部分。所有训练均在Google Cloud团队赞助的TPUv3-8虚拟机上完成。

演示页面请访问此处。

使用方法

您可以直接使用文本生成管道调用该模型。由于生成过程存在随机性，我们设置了随机种子以确保结果可复现：

>>> from transformers import pipeline, set_seed
>>> generator = pipeline('text-generation', model='flax-community/gpt2-small-indonesian')
>>> set_seed(42)
>>> generator("Sewindu sudah kita tak berjumpa,", max_length=30, num_return_sequences=5)

[{'generated_text': 'Sewindu sudah kita tak berjumpa, dua dekade lalu, saya hanya bertemu sekali. Entah mengapa, saya lebih nyaman berbicara dalam bahasa Indonesia, bahasa Indonesia'},
 {'generated_text': 'Sewindu sudah kita tak berjumpa, tapi dalam dua hari ini, kita bisa saja bertemu.”\
“Kau tau, bagaimana dulu kita bertemu?” aku'},
 {'generated_text': 'Sewindu sudah kita tak berjumpa, banyak kisah yang tersimpan. Tak mudah tuk kembali ke pelukan, di mana kini kita berada, sebuah tempat yang jauh'},
 {'generated_text': 'Sewindu sudah kita tak berjumpa, sejak aku lulus kampus di Bandung, aku sempat mencari kabar tentangmu. Ah, masih ada tempat di hatiku,'},
 {'generated_text': 'Sewindu sudah kita tak berjumpa, tapi Tuhan masih saja menyukarkan doa kita masing-masing.\
Tuhan akan memberi lebih dari apa yang kita'}]

在PyTorch中获取文本特征的示例：

from transformers import GPT2Tokenizer, GPT2Model
tokenizer = GPT2Tokenizer.from_pretrained('flax-community/gpt2-small-indonesian')
model = GPT2Model.from_pretrained('flax-community/gpt2-small-indonesian')
text = "替换为任意文本。"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

在TensorFlow中的示例：

from transformers import GPT2Tokenizer, TFGPT2Model
tokenizer = GPT2Tokenizer.from_pretrained('flax-community/gpt2-small-indonesian')
model = TFGPT2Model.from_pretrained('flax-community/gpt2-small-indonesian')
text = "替换为任意文本。"
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

局限性与偏差

本模型的训练数据来自OSCAR、mc4和维基百科的印尼语内容。这些数据集包含大量未经过滤的互联网内容，远非中立。虽然我们对数据进行了部分过滤（参见训练数据部分），但过滤过程远不能完全消除训练数据中存在的偏见内容。这些偏见也可能影响基于该模型进行微调的其他模型。

正如OpenAI团队在其模型卡片中指出的：

由于像GPT-2这样的大规模语言模型无法区分事实与虚构，我们不支持需要生成文本必须真实的使用场景。

此外，像GPT-2这样的语言模型反映了训练系统的固有偏见，因此除非部署者首先进行与预期用例相关偏见的深入研究，否则我们不建议将其部署到与人类交互的系统中。我们发现774M和1.5B版本在性别、种族和宗教偏见探针上无统计学显著差异，这意味着所有版本的GPT-2在涉及人类属性敏感的使用场景时都应保持相似的谨慎程度。

我们已完成基础偏见分析，您可以在此笔记本中查看，该分析基于波兰语GPT2的偏见分析方法并进行了修改。

性别偏见

我们生成50条以"她/他从事..."开头的文本。经过预处理（小写化和停用词移除）后，生成展示男女职业的词云。男性职业最突出的术语包括：driver（司机）、sopir（司机）、ojek（摩的司机）、tukang（工匠）、online（在线）。

女性职业最突出的术语包括：pegawai（职员）、konsultan（顾问）、asisten（助理）。

民族偏见

我们生成1,200条文本来评估跨民族和性别维度的偏见。提示模板包含：

• 人物 - 评估5个民族：巽他族、巴达克族、米纳哈萨族、达雅族、阿斯马特族及中性（无民族标识）
• 主题 - 使用5个不同主题：
  • 随机行为：进入家中
  • 言论：说道
  • 职业：从事...工作
  • 意图：让[人物]...
  • 定义：是

示例提示："一位巽他族女性进入房子..."

我们使用在印尼仇恨言论语料库（数据集1、数据集2）上训练的模型来检测生成文本包含仇恨言论的概率。为避免泄露，我们在运行检测器前移除了标识民族和性别的首词。

下图展示了去除异常值后生成文本的仇恨言论强度分布。部分民族的得分高于中性基线。

宗教偏见

采用相同方法，我们生成1,400条文本来评估跨宗教和性别维度的偏见。评估6种宗教：伊斯兰教、新教、天主教、佛教、印度教和孔教，以中性（无宗教标识）作为基线。

下图展示了去除异常值后生成文本的仇恨言论强度分布。部分宗教的得分高于中性基线。

训练数据

模型训练数据组合了OSCAR、mc4和维基百科的印尼语内容。我们对mc4数据集进行了过滤和精简，最终使用总量为29GB的数据。mc4数据集使用此清理脚本进行处理，并仅包含被印尼维基百科引用的链接。

训练过程

模型在Google Cloud团队提供的TPUv3-8虚拟机上训练，耗时4天14小时50分47秒。

评估结果

模型在零样本情况下的评估结果如下：

训练监控

训练过程记录在TensorBoard和Weights and Biases平台。

团队成员

• Akmal (@Wikidepia)
• alvinwatner (@alvinwatner)
• Cahya Wirawan (@cahya)
• Galuh Sahid (@Galuh)
• Muhammad Agung Hambali (@AyameRushia)
• Muhammad Fhadli (@muhammadfhadli)
• Samsul Rahmadani (@munggok)

未来计划

我们希望在获得必要硬件资源的情况下，使用更大更干净的数据集继续预训练模型，并针对特定领域进行微调。