🚀 日语字符级GPT - 2小型模型卡片

本模型是一个日语字符级的GPT - 2小型语言模型（9000万个参数），在日语维基百科、CC - 100的日语部分以及OSCAR的日语部分上进行了预训练。

🚀 快速开始

文本生成

你可以直接使用管道进行文本生成。

>>> from transformers import pipeline, set_seed
>>> generator = pipeline('text-generation', model='ku-nlp/gpt2-small-japanese-char')
>>> set_seed(5)
>>> generator("<s>昨日私は京都で", max_length=30, do_sample=True, num_return_sequences=5)

[{'generated_text': '<s>昨日私は京都で仕事して、今日は大阪に行くのですが今日はいつ'},
 {'generated_text': '<s>昨日私は京都で開催された「みんなで！アラーム学習アワード2'},
 {'generated_text': '<s>昨日私は京都で行われましたコンフェクションフォーラムへ行っ'},
 {'generated_text': '<s>昨日私は京都では雪が解けるまで寝た様子があります・・・(;'},
 {'generated_text': '<s>昨日私は京都でも２７回生の卒業式を行わせていただいておりま'}]

获取文本特征

你还可以使用此模型来获取给定文本的特征。

✨ 主要特性

词汇表

使用了大小为6K的字符级词汇表。确切地说，由于使用了字节级字节对编码（BPE），稀有字符可能会被拆分为字节。BPE分词器是在训练数据的一个小子集上训练的。由于数据被转换为每行一个字符的格式，合并操作永远不会超出字符边界。

⚠️ 重要提示

由于预处理过程从训练数据中消除了空白字符（U+0020），分词器会将U+0020映射到[UNK]。请使用U+3000（表意空格）代替。

训练数据

我们使用了以下语料库进行预训练：

• 日语维基百科（截至2022年10月20日，3.2GB，2700万句话，130万份文档）
• CC - 100的日语部分（85GB，6.19亿句话，660万份文档）
• OSCAR的日语部分（54GB，3.26亿句话，250万份文档）

⚠️ 重要提示

我们过滤掉了OSCAR中带有“header”、“footer”或“noisy”标签的文档。此外，日语维基百科被重复了10次，以使语料库的总大小与CC - 100和OSCAR相当。因此，训练数据的总大小为171GB。

训练过程

使用单块NVIDIA A100 80GB GPU进行训练大约花费了3个月（有两次中断）。

预训练期间使用了以下超参数：

• 学习率：2e - 4
• 每个设备的训练批次大小：36
• 梯度累积步数：32
• 优化器：AdamW，β值为(0.9, 0.999)，ε值为1e - 06
• 权重衰减：0.01
• 学习率调度器类型：线性
• 最大梯度范数：1.0
• 最大步数：500,000（但在142,000步时终止，约等于3.0个轮次）
• 热身步数：10,000

评估损失为1.597，评估准确率为0.6359。评估集由每个训练语料库中随机抽取的5000份文档组成。

📄 许可证

本项目采用CC - BY - SA - 4.0许可证。