GPT-J 6B - 珍妮薇版

模型描述

GPT-J 6B-珍妮薇版是基于EleutherAI的GPT-J 6B模型进行微调的版本。

训练数据

训练数据包含约2210本电子书，主要为科幻与奇幻题材。该数据集基于GPT-Neo-2.7B-皮卡德版使用的相同数据集，并增加了20%的多题材内容。
部分数据前缀标注了体裁标签，格式为：[体裁: <体裁1>,<体裁2>]

使用方法

您可以直接使用文本生成管道调用该模型。以下示例每次运行都会生成不同文本序列：

>>> from transformers import pipeline  
>>> generator = pipeline('text-generation', model='KoboldAI/GPT-J-6B-Janeway')  
>>> generator("欢迎珍妮薇舰长，我为延误道歉。", do_sample=True, min_length=50)  
[{'generated_text': '欢迎珍妮薇舰长，我为延误道歉。"\n没关系，"珍妮薇说。"我相信你已尽力让我了解情况。"'}]  

局限性与偏差

GPT-J的核心功能是通过文本字符串预测下一个标记。虽然语言模型被广泛用于其他任务，但这项工作存在许多未知因素。需注意：统计概率最高的下一个标记，往往并非产出最"准确"文本的标记。切勿依赖GPT-J生成事实准确的输出。

GPT-J的训练数据Pile数据集已知包含亵渎、淫秽等不当内容。根据使用场景，GPT-J可能生成不符合社会规范的文本。关于数据偏差的详细分析请参阅Pile论文第5、6章。

与所有语言模型一样，我们无法提前预测GPT-J对特定提示的反应，冒犯性内容可能突然出现。建议在发布前进行人工审核或过滤，既消除不良内容，也提升结果质量。

文献引用信息

本模型基于以下基础模型：

@misc{gpt-j,  
  author = {王本、小松崎艾伦},  
  title = {{GPT-J-6B：60亿参数自回归语言模型}},  
  howpublished = {\url{https://github.com/kingoflolz/mesh-transformer-jax}},  
  year = 2021,  
  month = 5月  
}  

致谢

本项目得益于谷歌通过TPU研究云计划慷慨提供的算力支持，以及Cloud TPU虚拟机团队提供的Alpha版早期访问权限。