语言:

• 英文 标签:
• 文本生成
• PyTorch
• 因果语言模型 许可证: MIT 数据集:
• EleutherAI/pile

GPT-Neo 1.3B 模型

模型描述

GPT-Neo 1.3B 是基于 EleutherAI 复现的 GPT-3 架构设计的 Transformer 模型。GPT-Neo 代表模型类别，1.3B 表示该预训练模型的参数量。

训练数据

GPT-Neo 1.3B 训练数据来源于 Pile 数据集，这是由 EleutherAI 为训练此类模型而构建的大规模精选数据集。

训练过程

该模型在 Pile 数据集上进行了 3800 亿 token、362,000 步的训练。采用掩码自回归语言模型架构，使用交叉熵损失函数进行训练。

使用场景与限制

通过训练，模型学习了英语语言的内部表征，可用于提取下游任务所需的特征。该模型最擅长其预训练目标——根据提示生成文本。

使用方法

可直接使用文本生成流水线调用本模型。以下示例每次运行会生成不同序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='EleutherAI/gpt-neo-1.3B')
>>> generator("EleutherAI has", do_sample=True, min_length=50)

[{'generated_text': 'EleutherAI 已承诺为其每个主要客户开发新的软件包，并已'}]

局限性及偏差

GPT-Neo 作为自回归语言模型训练，其核心功能是接收文本字符串并预测下一个 token。虽然语言模型广泛应用于其他任务，但存在许多未知因素。

训练数据 Pile 包含粗俗、淫秽等不当内容。根据使用场景，模型可能生成不符合社会规范的文本。详见 Pile 论文第 5、6 节关于数据偏差的分析。

与所有语言模型一样，无法提前预测 GPT-Neo 对特定提示的反应，可能突然生成冒犯性内容。建议人工审核输出内容，既过滤不良信息又提升结果质量。

评估结果

语言推理能力

物理科学推理

下游应用

待补充

引用信息

引用本模型请使用：

@software{gpt-neo,
  author       = {Black, Sid and
                  Leo, Gao and
                  Wang, Phil and
                  Leahy, Connor and
                  Biderman, Stella},
  title        = {{GPT-Neo: 基于Mesh-Tensorflow的大规模自回归语言建模}},
  month        = 3月,
  year         = 2021,
  note         = {{使用本软件请引用此元数据}},
  publisher    = {Zenodo},
  version      = {1.0},
  doi          = {10.5281/zenodo.5297715},
  url          = {https://doi.org/10.5281/zenodo.5297715}
}

@article{gao2020pile,
  title={Pile数据集：面向语言建模的800GB多样化文本集},
  author={Gao, Leo and Biderman, Stella and Black, Sid and Golding, Laurence and Hoppe, Travis and Foster, Charles and Phang, Jason and He, Horace and Thite, Anish and Nabeshima, Noa and others},
  journal={arXiv预印本 arXiv:2101.00027},
  year={2020}
}

开放大语言模型排行榜评估结果

详细结果参见此处