语言:

• 英文 标签:
• pytorch
• 因果语言模型 许可证: apache-2.0 数据集:
• EleutherAI/pile

GPT-NeoX-20B是一个拥有200亿参数的自回归语言模型，使用GPT-NeoX库在the Pile数据集上训练而成。其架构有意模仿GPT-3，与GPT-J-6B几乎完全相同。训练数据集包含大量英语文本，体现了该模型的通用性质。有关模型架构（包括与GPT-3的区别）、训练过程及其他评估的详细信息，请参阅相关论文。

模型详情

• 开发团队: EleutherAI
• 模型类型: 基于Transformer的语言模型
• 语言: 英语
• 了解更多: GPT-NeoX-20B: 开源自回归语言模型。关于训练数据集的详细信息，请参阅the Pile论文及其数据表。
• 许可证: Apache 2.0
• 联系方式: 如有疑问，请加入EleutherAI Discord并在#release-discussion频道提问。提问前请先阅读现有GPT-NeoX-20B文档。一般联系请发送邮件至contact@eleuther.ai。

用途与限制

预期用途

GPT-NeoX-20B主要为研究目的开发。它学习英语的内部表示，可用于提取下游任务的有用特征。

除科研用途外，您还可根据Apache 2.0许可证进一步微调并部署该模型。该模型兼容Transformers库。若以预训练模型为基础进行微调，请自行进行风险和偏见评估。

非预期用途

GPT-NeoX-20B不适合直接部署。它并非产品，未经监督不能用于人机交互。

该模型未针对常见下游任务（如文体写作或商业聊天机器人）进行微调。因此其响应方式不会类似ChatGPT等产品——后者通过人类反馈强化学习(RLHF)等方法优化了指令理解能力。

该模型仅支持英语，无法用于翻译或其他语言文本生成。

局限性与偏见

GPT-NeoX-20B的核心功能是预测文本序列的下一个token。请注意，统计上最可能的token不一定产生最"准确"的文本。切勿依赖其输出的事实准确性。

训练数据the Pile包含不雅及冒犯性内容。论文第6节讨论了关于性别、宗教和种族的已知偏见。即使提示不含冒犯内容，模型仍可能生成社会不可接受的文本。

建议人工审核输出内容，并向受众说明文本为AI生成。

使用方法

试用演示请访问playground。

加载模型：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neox-20b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/gpt-neox-20b")

训练

训练数据

The Pile是825GiB的通用英语数据集，包含22个来源的文本，分为五类：学术文献、网络内容、散文、对话及杂项。详见论文和数据表。数据集未去重。

训练过程

批量大小约315万token（1538个2048token的序列），共训练15万步。使用张量并行和流水线并行进行分布式训练。详见论文第3节。

评估

完整评估参见论文附录D，包含算术、数学等任务表现。

引用

@misc{https://doi.org/10.48550/arxiv.2204.06745,
  doi = {10.48550/ARXIV.2204.06745},
  url = {https://arxiv.org/abs/2204.06745},
  author = {Black, Sid and Biderman, Stella and Hallahan, Eric and Anthony, Quentin and Gao, Leo and Golding, Laurence and He, Horace and Leahy, Connor and McDonell, Kyle and Phang, Jason and Pieler, Michael and Prashanth, USVSN Sai and Purohit, Shivanshu and Reynolds, Laria and Tow, Jonathan and Wang, Ben and Weinbach, Samuel},
  title = {GPT-NeoX-20B: An Open-Source Autoregressive Language Model},
  publisher = {arXiv},
  year = {2022},
  copyright = {知识共享署名4.0国际许可}
}

开放大模型排行榜评估结果

详细结果见此处