🚀 GPT-Neo 2.7B - Janeway

GPT-Neo 2.7B - Janeway是基于EleutherAI的GPT-Neo 2.7B模型进行微调得到的模型，可用于文本生成任务，在科幻和奇幻等领域有一定表现。

🚀 快速开始

你可以直接使用文本生成管道来使用此模型。以下示例每次运行时都会生成不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/GPT-Neo-2.7B-Janeway')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

✨ 主要特性

• 基于EleutherAI的GPT-Neo 2.7B模型进行微调。
• 训练数据包含约2210本电子书，主要为科幻和奇幻类型。
• 数据集基于GPT-Neo-2.7B-Picard使用的相同数据集，各类型数据增加了20%。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/GPT-Neo-2.7B-Janeway')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

高级用法

文档未提及高级用法代码示例，故跳过此部分。

📚 详细文档

模型描述

GPT-Neo 2.7B - Janeway是使用EleutherAI的GPT-Neo 2.7B模型创建的微调模型。

训练数据

训练数据包含约2210本电子书，主要为科幻和奇幻类型。该数据集基于GPT-Neo-2.7B - Picard使用的相同数据集，各类型数据增加了20%。数据集的某些部分已使用以下文本作为前缀：[Genre: <genre1>,<genre2>]

局限性和偏差

GPT-Neo是作为自回归语言模型进行训练的。这意味着其核心功能是获取一串文本并预测下一个标记。虽然语言模型广泛用于此之外的任务，但这项工作仍有很多未知因素。 GPT-Neo是在Pile数据集上进行训练的，该数据集已知包含亵渎、低俗和其他冒犯性语言。根据你的用例，GPT-Neo可能会产生社会不可接受的文本。有关Pile数据集中偏差的更详细分析，请参阅Pile论文的第5和第6节。 与所有语言模型一样，很难提前预测GPT-Neo将如何响应特定提示，并且可能会在无警告的情况下出现冒犯性内容。我们建议在发布输出之前由人工进行筛选或过滤，以审查不良内容并提高结果质量。

BibTeX引用和引用信息

该模型使用以下软件制作：

@software{gpt-neo,
  author       = {Black, Sid and
                  Leo, Gao and
                  Wang, Phil and
                  Leahy, Connor and
                  Biderman, Stella},
  title        = {{GPT-Neo: Large Scale Autoregressive Language 
                   Modeling with Mesh-Tensorflow}},
  month        = mar,
  year         = 2021,
  note         = {{If you use this software, please cite it using 
                   these metadata.}},
  publisher    = {Zenodo},
  version      = {1.0},
  doi          = {10.5281/zenodo.5297715},
  url          = {https://doi.org/10.5281/zenodo.5297715}
}

🔧 技术细节

GPT-Neo是自回归语言模型，核心功能是获取文本并预测下一个标记。它在Pile数据集上训练，该数据集包含冒犯性语言，可能导致模型输出有偏差。

📄 许可证

本项目采用MIT许可证。