语言: 英语
许可证: MIT

GPT-Neo 2.7B - 皮卡德版

模型描述

GPT-Neo 2.7B-皮卡德版是基于EleutherAI的GPT-Neo 2.7B模型进行微调的版本。

训练数据

训练数据包含约1800本电子书，主要为科幻和奇幻类作品。

使用方法

您可以直接使用文本生成管道调用该模型。以下示例每次运行时会生成不同的文本序列：

>>> from transformers import pipeline  
>>> generator = pipeline('text-generation', model='mrseeker87/GPT-Neo-2.7B-Picard')  
>>> generator("让-卢克·皮卡德", do_sample=True, min_length=50)  
[{'generated_text': '让-卢克·皮卡德，一位联邦星舰的舰长，指挥着星际舰队中少数全职科学家之一。'}]  

局限性与偏差

GPT-Neo作为自回归语言模型训练，其核心功能是根据文本字符串预测下一个标记。虽然语言模型广泛应用于其他任务，但这项工作仍存在许多未知因素。
GPT-Neo的训练数据来自Pile数据集，该数据集已知包含亵渎、淫秽及其他粗俗内容。根据使用场景，GPT-Neo可能生成社会不可接受的文本。详见Pile论文第5、6章节对数据偏差的详细分析。
与所有语言模型一样，GPT-Neo对特定提示的反应难以预判，可能无预警地生成冒犯性内容。建议在发布前由人工审核或过滤输出内容，既屏蔽不良信息又提升结果质量。

BibTeX条目及引用信息

本模型基于以下软件构建：

@software{gpt-neo,  
  author       = {布莱克, 希德 and  
                  高, 利奥 and  
                  王, 菲尔 and  
                  莱希, 康纳 and  
                  比德尔曼, 斯特拉},  
  title        = {{GPT-Neo: 基于网格张量流的大规模自回归语言建模}},  
  month        = 3月,  
  year         = 2021,  
  note         = {{使用本软件时，请引用此元数据}},  
  publisher    = {Zenodo},  
  version      = {1.0},  
  doi          = {10.5281/zenodo.5297715},  
  url          = {https://doi.org/10.5281/zenodo.5297715}  
}