GPT-Neo 125M 模型

模型描述

GPT-Neo 125M是基于EleutherAI复现的GPT-3架构设计的Transformer模型。GPT-Neo代表模型类别，125M表示该预训练模型的具体参数量。

训练数据

本模型使用EleutherAI专门构建的大规模精选数据集The Pile进行训练。

训练过程

该模型在The Pile数据集上训练了3000亿个token，共572,300个训练步。采用掩码自回归语言模型架构，使用交叉熵损失函数进行训练。

用途与限制

通过训练，模型学习到英语语言的内部表征，可用于提取下游任务所需的特征。该模型最擅长其预训练目标——根据提示生成文本。

使用方法

可直接使用文本生成管道调用本模型。以下示例每次运行会产生不同的输出序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='EleutherAI/gpt-neo-125M')
>>> generator("EleutherAI has", do_sample=True, min_length=20)

[{'generated_text': 'EleutherAI已承诺为其每个主要客户开发新的软件包，并已'}]

局限性与偏差

GPT-Neo作为自回归语言模型训练，其核心功能是接收文本字符串并预测下一个标记。虽然语言模型用途广泛，但存在许多未知因素。

训练数据The Pile已知包含亵渎、淫秽等不当内容。根据使用场景，GPT-Neo可能生成不符合社会规范的文本。建议人工审核输出内容，既过滤不良信息又提升结果质量。

评估结果

待补充

下游应用

待补充

引用信息

引用本模型请使用：

@software{gpt-neo,
  author       = {Black, Sid等},
  title        = {{GPT-Neo: 基于Mesh-Tensorflow的大规模自回归语言建模}},
  year         = 2021,
  publisher    = {Zenodo},
  doi          = {10.5281/zenodo.5297715}
}

@article{gao2020pile,
  title={The Pile: 用于语言建模的800GB多样化文本数据集},
  author={Gao, Leo等},
  journal={arXiv预印本},
  year={2020}
}

开放大语言模型排行榜评估结果

详细结果参见此处