tags:

• 文本生成

GPT-J-6B-Skein模型卡片

模型详情

模型描述

• 开发团队: KoboldAI
• 共享方: KoboldAI
• 模型类型: 文本生成
• 支持语言: 英语
• 许可协议: Apache 2.0许可证
• 关联模型: GPT-J 6B
  • 基础模型: GPT-J
• 更多资源:
  • GitHub仓库
  • 模型文档

用途

直接使用

本模型专为创意故事生成设计，可理解自由文本及以"> You"开头的互动小说风格文本，例如：

你注意到她的呼吸——肋骨的轻微起伏，轻柔的吐息——自然却带着刻意。"啊，顺便问下，"她故作随意地开口，"见过外面那位艺术家了吗？——我是说我的专属画家。"

"没有，"你不安地回答，欲言又止。

> 你询问关于醒来的体验

下游应用

需补充信息

非适用场景

禁止用于制造敌对或排斥性内容。

偏差、风险与局限

GPT-J的核心功能是预测文本序列的下一个词元。需注意：

• 最可能的输出未必最准确，切勿依赖其事实准确性
• 训练数据Pile数据集包含不雅内容，可能生成社会不可接受的文本
• 输出存在不可预测性，建议人工审核

详见GPT-J 6B模型卡片

建议

用户应充分了解模型风险。需补充具体建议。

训练详情

训练数据

主要源自KoboldAI/GPT-Neo-2.7B-Horni-LN的轻小说数据集及互动小说。数据使用[Themes: 流派列表]标签体系，完整说明见文档。

训练流程

预处理

• 使用ftfy处理非ASCII字符
• 互动小说文本去重
• 通过spaCy重构旧式文字冒险游戏动作语句
• 人工清理"感谢游玩"等冗余内容

训练效率

总耗时约14小时，平均速度5265词元/秒

评估

需补充测试数据、指标及结果

环境影响

碳排放估算可参考机器学习碳足迹计算器，需补充硬件配置及训练时长等数据

技术规格

架构目标

需补充信息

计算设施

软件依赖

https://github.com/kingoflolz/mesh-transformer-jax

引用

@misc{mesh-transformer-jax,
  author = {Wang, Ben},
  title = {{Mesh-Transformer-JAX:基于JAX的并行Transformer实现}},
  howpublished = {\url{https://github.com/kingoflolz/mesh-transformer-jax}},
  year = 2021,
  month = May
}

附录

需补充术语表及更多信息

作者

KoboldAI联合Ezi Ozoani及Hugging Face团队

联系方式

需补充信息

快速开始

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("KoboldAI/GPT-J-6B-Skein")
model = AutoModelForCausalLM.from_pretrained("KoboldAI/GPT-J-6B-Skein")