语言:

• 英语 标签:
• pytorch
• 因果语言模型 许可证: apache-2.0 数据集:
• the_pile 流水线标签: 文本生成

Cerebras-GPT 111M

查看我们的博客文章和arXiv论文！

模型描述

Cerebras-GPT系列模型的发布旨在促进使用开放架构和数据集研究LLM扩展规律，并展示在Cerebras软硬件堆栈上训练LLM的简洁性和可扩展性。所有Cerebras-GPT模型均可在Hugging Face获取。

该系列包含111M、256M、590M、1.3B、2.7B、6.7B和13B参数的模型。

Cerebras-GPT家族的所有模型均按照Chinchilla扩展定律（每模型参数20个token）进行训练，实现了计算最优。

这些模型在由16个CS-2晶圆级系统组成的Andromeda AI超级计算机上训练。Cerebras的权重流技术通过将计算与模型存储解耦，简化了LLM的训练。这使得能够使用简单的数据并行在节点间高效扩展训练。

通过Cerebras Model Studio，可在云端使用Cerebras系统进行预训练和微调。兼容Cerebras CS-2的检查点可在Cerebras Model Zoo获取。

模型详情

• 开发者: Cerebras Systems
• 许可证: Apache 2.0
• 模型类型: 基于Transformer的语言模型
• 架构: GPT-3风格架构
• 数据集: The Pile
• 分词器: 字节对编码
• 词汇表大小: 50257
• 序列长度: 2048
• 优化器: AdamW, (β1, β2) = (0.9, 0.95), adam_eps = 1e−8（较大模型为1e−9）
• 位置编码: 学习式
• 语言: 英语
• 了解更多: 训练流程、配置文件及使用方法的详细信息，请参阅密集扩展定律论文。

联系方式: 如有关于Cerebras-GPT模型的问题，请加入Cerebras Discord。

这是标准参数化的Cerebras-GPT模型，参数为111M。

相关模型: Cerebras-GPT模型

快速开始

此模型可轻松通过AutoModelForCausalLM功能加载：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("cerebras/Cerebras-GPT-111M")
model = AutoModelForCausalLM.from_pretrained("cerebras/Cerebras-GPT-111M")

text = "生成式AI是 "

并可配合Hugging Face Pipelines使用：

from transformers import pipeline

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
generated_text = pipe(text, max_length=50, do_sample=False, no_repeat_ngram_size=2)[0]
print(generated_text['generated_text'])

或使用model.generate()

inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, num_beams=5, 
                        max_new_tokens=50, early_stopping=True,
                        no_repeat_ngram_size=2)
text_output = tokenizer.batch_decode(outputs, skip_special_tokens=True)
print(text_output[0])

训练数据

Cerebras-GPT使用来自EleutherAI的the Pile数据集进行训练。关于数据源和方法的更详细分析，请参阅Pile论文。Pile数据通过ftfy库清理以标准化文本，随后使用Eleuther提供的脚本进行过滤。

我们使用基于GPT-2词汇表的字节对编码对数据进行分词。分词后的Pile数据集包含371B token。关于训练数据集预处理的更多细节，请参阅论文附录A.1。

近期研究发现Pile中存在大量重复数据。Eleuther的Pythia应用了去重流程以减少数据复制，缩小了Pile数据集规模。Pythia在标准数据集和去重数据集上均进行了训练以评估影响。我们的模型在未去重的标准Pile上训练，这为使用去重数据集进一步改进提供了可能。

训练流程

我们采用GPT-3风格的模型架构。所有层均使用全注意力机制，而非GPT-3风格的稀疏带状注意力。模型形状选择遵循80的纵横比或与GPT-3模型相同形状。学习率在375M token（111M和256M模型为1500步）内预热，并以10倍余弦衰减。未使用dropout，权重衰减设为0.1。所有模型均以2048的最大序列长度（MSL）训练。

所有模型训练至Chinchilla点：每模型参数20个token。步数根据最优批次大小（因模型而异）和固定序列长度（2048）选择。详情参见下方训练表。

评估

我们从最小到最大训练模型，并在此过程中拟合幂律。幂律有助于外推下一个最大模型的验证损失，并为训练运行是否顺利提供信心。

我们使用Pile验证和测试分割进行了上游（预训练）文本预测交叉熵评估。使用Eleuther lm-evaluation-harness对标准化任务进行了下游文本生成准确性评估。结果与论文第3节中许多公开可用的大型语言模型进行了比较。

零样本评估

五样本评估