语言：英语
许可证：MIT
任务标签：文本生成

GPT-Neo 1.3B - 冒险版

模型描述

GPT-Neo 1.3B-冒险版是基于EleutherAI的GPT-Neo 1.3B模型微调而成的版本。

训练数据

训练数据直接复制了VE提供的"cys"数据集，这是一个基于CYOA（选择你自己的冒险）风格的数据集。

使用方法

您可以直接使用文本生成管道调用该模型。以下示例每次运行时都会生成不同的文本序列：

>>> from transformers import pipeline  
>>> generator = pipeline('text-generation', model='KoboldAI/GPT-Neo-1.3B-Adventure')  
>>> generator("> 你醒来了。", do_sample=True, min_length=50)  
[{'generated_text': '> 你醒来了"\n你从床上爬起来，穿上盔甲，走出房门去寻找新的冒险。'}]  

局限性与偏差

GPT-Neo是作为自回归语言模型训练的，其核心功能是接收文本字符串并预测下一个标记。虽然语言模型被广泛用于其他任务，但这项工作仍存在许多未知因素。

GPT-Neo是在Pile数据集上训练的，该数据集已知包含亵渎、淫秽及其他冒犯性语言。根据使用场景，GPT-Neo可能会生成社会不可接受的文本。有关Pile数据集中偏差的更详细分析，请参阅Pile论文的第5和第6节。

与所有语言模型一样，很难提前预测GPT-Neo对特定提示的反应，可能会在没有警告的情况下生成冒犯性内容。我们建议在发布前由人工对输出进行筛选或过滤，既审查不良内容，又提高结果质量。

BibTeX条目及引用信息

该模型使用以下软件制作：

@software{gpt-neo,  
  author       = {Black, Sid and  
                  Leo, Gao and  
                  Wang, Phil and  
                  Leahy, Connor and  
                  Biderman, Stella},  
  title        = {{GPT-Neo: 使用Mesh-Tensorflow的大规模自回归语言建模}},  
  month        = 3月,  
  year         = 2021,  
  note         = {{如果您使用此软件，请使用这些元数据进行引用。}},  
  publisher    = {Zenodo},  
  version      = {1.0},  
  doi          = {10.5281/zenodo.5297715},  
  url          = {https://doi.org/10.5281/zenodo.5297715}  
}