语言:

• 英语 标签:
• pytorch
• 因果语言模型
• pythia 许可证: apache-2.0 数据集:
• EleutherAI/pile

Pythia 规模套件是为促进可解释性研究而开发的一系列模型集合（详见论文）。该套件包含两组共八个模型，规模分别为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B。每种规模包含两个模型：一个在原始Pile数据集上训练，另一个在全局去重后的Pile数据集上训练。所有8种规模的模型均采用完全相同的数据并按相同顺序训练。我们还为每个模型提供了154个中间检查点，以分支形式托管在Hugging Face平台。

Pythia模型套件专为促进大语言模型科学研究（尤其是可解释性研究）而设计。尽管未将下游性能作为核心设计目标，但我们发现这些模型在性能上匹配或超越了OPT和GPT-Neo等同类同规模模型。

Pythia-160M

模型详情

• 开发机构: EleutherAI
• 模型类型: 基于Transformer的语言模型
• 语言: 英语
• 了解更多: 访问Pythia GitHub仓库获取训练流程、配置文件和使用指南，查阅论文获取更多评估及实现细节
• 依赖库: GPT-NeoX
• 许可证: Apache 2.0
• 联系方式: 加入EleutherAI Discord并在#release-discussion频道提问。提问前请先阅读现有文档。常规联系请邮件contact@eleuther.ai

用途与限制

预期用途

Pythia主要面向大语言模型行为、功能及局限性的科学研究。该套件旨在为科学实验提供受控环境。我们为每个模型提供154个检查点：初始step0、10个对数间隔检查点step{1,2,4...512}，以及从step1000到step143000均匀分布的143个检查点。这些检查点以分支形式托管于Hugging Face。注意143000分支对应各模型main分支的最终检查点。

您可根据Apache 2.0许可证对Pythia-160M进行微调部署。Pythia模型兼容Hugging FaceTransformers库。若基于预训练模型进行微调，请自行开展风险与偏见评估。

非适用场景

Pythia套件不适用于生产部署。其本身并非产品，不可用于人机交互。例如，模型可能生成有害或冒犯性文本。请评估具体用例风险。

Pythia模型仅支持英语，不适用于翻译或其他语言文本生成。

Pythia-160M未针对流派文本创作、商业聊天机器人等下游场景进行微调。因此其响应方式不同于ChatGPT等产品。后者通过人类反馈强化学习(RLHF)等方法来更好地"遵循"人类指令。

局限与偏见

大语言模型的核心功能是预测文本序列的下一个token。模型选择的token未必产生最"准确"的文本。切勿依赖Pythia-160M输出事实准确内容。

该模型训练数据the Pile包含亵渎及低俗内容。Pile论文第6节讨论了关于性别、宗教和种族的已知偏见。即使提示词不含冒犯内容，Pythia-160M仍可能生成社会不可接受的文本。

若通过托管API使用生成文本，建议人工审核后再向他人展示。请告知受众文本由Pythia-160M生成。

快速开始

以下代码演示如何加载使用Pythia模型（以pythia-70m-deduped的第三个检查点为例）：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

step143000分支对应各模型main分支的最终检查点。
更多使用说明参见GitHub文档。

训练

训练数据

The Pile是825GiB的通用英语数据集，专为训练大语言模型而创建。包含来自22个不同来源的文本，可分为五类：学术文献（如arXiv）、互联网内容（如CommonCrawl）、散文（如古登堡计划）、对话（如YouTube字幕）和杂项（如GitHub、安然邮件）。详见Pile论文的数据源构成、方法论及伦理讨论。数据表提供更详细文档。数据集可从官网或社区镜像下载。
训练Pythia-160M时未对Pile进行去重处理。

训练流程

所有模型采用完全相同的训练数据和顺序。每个模型训练过程中处理299,892,736,000个token，保存143个检查点（每2,097,152,000个token保存一次），均匀分布在step1000至step143000（等同于main分支）。额外提供早期检查点：step0和step{1,2,4...512}。这相当于在原始Pile上训练约1个epoch，在去重Pile上约1.5个epoch。

所有Pythia模型以200万token的批大小训练143000步。
训练流程详见GitHub，包括复现方法。
Pythia使用与GPT-NeoX-20B相同的分词器。

评估

所有16个Pythia模型均通过LM评估工具测试。评估结果按模型和步骤保存在GitHub仓库的results/json/*路径下。
展开下方章节查看Pythia、Pythia去重版与OPT、BLOOM的评估对比图。

LAMBADA – OpenAI

物理交互问答(PIQA)

WinoGrande

AI2推理挑战赛-简易版

SciQ

变更日志

本节比较此前发布的Pythia v0与当前版本的差异。更多讨论参见Pythia论文附录B。重新训练未影响基准性能表现。

• 所有模型现统一采用200万token批大小（原160M/410M/1.4B模型为400万）
• 新增初始化检查点(step 0)及步骤{1,2,4,8,16,32,64,128,256,512}检查点
• 新版套件使用Flash Attention
• 修正学习率调度不一致问题：原版2.8B及以下模型学习率衰减至初始值10%，而6.9B/12B模型衰减至0。新版统一调整为衰减至最大学习率的10%

命名规范与参数量

2023年1月Pythia模型完成重命名。旧命名可能仍存在于部分文档中。现行命名(70M/160M等)基于总参数量。