语言:

• sk 标签:
• 斯洛伐克语GPT-J
• pytorch
• 因果语言模型 许可证: gpl-3.0

斯洛伐克语GPT-J-405M模型

斯洛伐克语GPT-J-405M是在其较小版本斯洛伐克语GPT-J-162M之后发布的斯洛伐克GPT-J系列中的第二个模型。此后还发布了更大的斯洛伐克语GPT-J-1.4B版本。

模型描述

该模型基于GPT-J，拥有超过4.05亿可训练参数。

训练数据

斯洛伐克GPT-J模型使用私有收集的数据集训练，包含多种类型的斯洛伐克语文本，如网页、新闻文章甚至圣经文本——总计超过40GB文本数据用于训练。数据集经过特定方式的预处理和清洗，为达到预期效果，请参考[使用方法]部分。请注意，尽管已尽力移除不当内容，模型仍可能生成敏感信息。

训练过程

该模型在TPU v3-8 pod上训练了超过365亿token，共69,001步。最终交叉熵验证损失为2.821。

使用目的

与原版GPT-J相同，斯洛伐克GPT-J学习语言内部表示可用于下游任务特征提取，但主要用途是根据提示生成文本。

使用方法

通过AutoModelForCausalLM可轻松加载模型和分词器：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Milos/slovak-gpt-j-405M")
model = AutoModelForCausalLM.from_pretrained("Milos/slovak-gpt-j-405M")

生成文本时注意三点：

1. 勿留尾部空格（如"slovenčinu"和"slovenčinu "编码不同）
2. 使用美式英文双引号""
3. 换行时使用\n\n而非单\n

示例：

>>> prompt = "Tradičné jedlo na Orave sú"
>>> encoded_input = tokenizer(prompt, return_tensors='pt')
>>> output = model.generate(**encoded_input)
>>> tokenizer.decode(output[0])
'Tradičné jedlo na Orave sú bryndzové halušky\n\nNa Orave sa v minulosti varilo viac druhov'

能力、局限与偏差

尽管只有4.05亿参数，该模型仍能生成语法正确的内容。例如生成指南文章：

输入：如何逐步写出有说服力的论文
输出：本文将教你写出引人入胜的论文。首先需明确论文本质是电脑撰写的文本...

但不建议依赖其生成事实性内容。

聊天对话生成可能出现重复（可通过设置重复惩罚参数改善）。由于训练数据包含不雅内容，模型可能生成不当文本。例如捷克语输入：

输入：句子不能粗俗且必须完全
输出：句子不能粗俗且必须完全真实。

引用与相关信息

此项目为2021年夏季个人研究项目，现开源供使用。如有疑问可通过Twitter或GitHub联系作者。

BibTeX引用

引用本模型：

@misc{slovak-gpt-j-405m,
  author = {Kondela, Milos},
  title = {{斯洛伐克GPT-J-405M}},
  howpublished = {\url{https://huggingface.co/Milos/slovak-gpt-j-405M}},
  year = 2022,
  month = 二月
}

引用训练代码库：

@misc{mesh-transformer-jax,
  author = {Wang, Ben},
  title = {{Mesh-Transformer-JAX：使用JAX实现的并行Transformer语言模型}},
  howpublished = {\url{https://github.com/kingoflolz/mesh-transformer-jax}},
  year = 2021,
  month = 五月
}

致谢

感谢TPU研究云(TRC)计划支持，以及Ben Wang和EleutherAI社区的贡献。