language:

• en tags:
• pytorch
• causal-lm
• pythia license: apache-2.0 datasets:
• EleutherAI/pile

Pythia 可扩展模型套件 是一系列专为促进可解释性研究而开发的模型集合（详见论文）。该套件包含两组共八个规模的模型，分别为7000万、1.6亿、4.1亿、10亿、14亿、28亿、69亿和120亿参数。每个规模下包含两个模型：一个在原始Pile数据集上训练，另一个在全局去重后的Pile数据集上训练。所有八种规模的模型均采用完全相同的训练数据和顺序进行训练。我们还为每个模型提供了154个中间检查点，以分支形式托管在Hugging Face平台。

Pythia模型套件专门为促进大语言模型（尤其是可解释性研究）的科研工作而设计。尽管未将下游性能作为核心设计目标，但我们发现这些模型在性能上达到或超越了同类规模模型（如OPT和GPT-Neo系列）。

Pythia-28亿参数模型

模型详情

• 开发机构: EleutherAI
• 模型类型: 基于Transformer架构的语言模型
• 语言: 英语
• 了解更多: 访问Pythia GitHub仓库获取训练流程、配置文件和使用指南，查阅论文获取更多评估指标和实施细节
• 基础库: GPT-NeoX
• 许可协议: Apache 2.0
• 联系方式: 加入EleutherAI Discord社区并在#release-discussion频道提问，咨询前请先阅读现有文档。常规联系请发送邮件至contact@eleuther.ai

用途与限制

预期用途

Pythia主要面向大语言模型行为、功能及局限性的科学研究。该套件旨在为科学实验提供受控环境。我们为每个模型提供154个检查点：初始step0、10个对数间隔检查点step{1,2,4...512}，以及从step1000到step143000均匀分布的143个检查点。这些检查点以分支形式托管于Hugging Face平台，其中143000分支对应各模型main分支的最终检查点。

用户可根据Apache 2.0许可协议对Pythia-28亿进行微调与部署应用。该模型兼容Hugging Face的Transformers库。若基于预训练模型进行微调，请自行开展风险与偏见评估。

非适用场景

Pythia套件不适用于生产部署，其本身并非产品级解决方案，不可用于人机交互场景。例如，模型可能生成有害或冒犯性文本。请根据具体用例评估相关风险。

Pythia系列仅为英语语言模型，不适用于其他语言的翻译或文本生成任务。

Pythia-28亿未针对常见下游应用场景（如文学创作、商业聊天机器人等）进行微调，因此其响应方式与ChatGPT等产品存在显著差异。后者通过人类反馈强化学习(RLHF)等方法来优化指令跟随能力。

局限性与偏见

大语言模型的核心功能是根据文本输入预测后续标记，其输出不一定具备事实准确性。切勿依赖Pythia-28亿生成事实性内容。

本模型训练数据the Pile包含亵渎、低俗及其他冒犯性文本。关于性别、宗教和种族偏见的讨论详见Pile论文第6章。即使输入提示不含明显冒犯内容，模型仍可能生成不符合社会规范的文字。

若通过托管推理API等渠道使用生成文本，建议人工审核后再向他人展示。请向受众说明文本由Pythia-28亿生成。

快速入门

以下代码示例展示如何加载并使用pythia-70m-deduped的第三个检查点：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

step143000分支对应各模型main分支的最终检查点。
完整使用指南请参见GitHub文档。

训练过程

训练数据

The Pile是825GB规模的通用英语数据集，包含22类异质数据源，可分为五大类：学术文献（如arXiv）、互联网内容（如CommonCrawl）、散文作品（如古登堡计划）、对话文本（如YouTube字幕）及其他类型（如GitHub代码、安然邮件）。Pile论文详细说明了数据来源、处理方法及伦理考量，数据表则提供了更全面的文档说明。数据集可从官网或社区镜像下载。
训练Pythia-28亿时未对Pile进行去重处理。

训练配置

所有模型采用完全相同的训练数据和顺序。每个模型在训练过程中处理了299,892,736,000个标记，期间均匀保存143个检查点（从step1000到step143000，间隔2,097,152,000标记），其中step143000对应main分支。此外还提供早期密集检查点：step0和step{1,2,4...512}。这相当于在原始Pile上训练近1个周期，或在去重版Pile上训练约1.5个周期。

所有Pythia模型以200万标记的批大小训练143,000步。
训练流程详见GitHub仓库，包括复现训练的具体说明。
Pythia采用与GPT-NeoX-20B相同的分词器。

评估结果

16个Pythia模型均通过LM评估工具包进行测试。评估结果按模型和训练步数分类存储于GitHub仓库的results/json/目录。
以下可展开区域展示Pythia系列与OPT、BLOOM模型的对比评估曲线图。

LAMBADA – OpenAI

物理交互问答(PIQA)

WinoGrande

AI2推理挑战赛-简易集

SciQ

版本变更

本节对比此前发布的Pythia v0与当前版本的差异。具体变更原因请参阅论文附录B。重新训练未影响模型基准性能。

• 所有模型现采用统一的200万标记批大小（原160M/410M/1.4B模型使用400万标记）
• 新增初始化检查点(step0)及对数间隔检查点step{1,2,4,8,16,32,64,128,256,512}
• 新版本采用Flash Attention技术
• 修正学习率衰减策略：原2.8B及以下模型衰减至最大学习率的10%，而6.9B/12B模型衰减至0。新版本统一调整为衰减至最大学习率的10%

命名规范与参数量统计

2023年1月Pythia模型采用新命名体系（可能仍有文档误用旧名称）。现行命名基于参数总量。