标签:

• 训练生成 模型索引:
• 名称: 虚构故事生成器 结果: []

用于虚构故事生成的GPT-Neo

该模型是基于EleutherAI的GPT-Neo-125M模型进行微调的版本，专为生成虚构故事优化。训练数据集来源于https://github.com/facebookresearch/fairseq/tree/main/examples/stories。

模型描述

• 模型名称: GPT-Neo-Fiction
• 开发者: Tin Kanjovsky/Tincando
• 导师: 副教授Darko Etinger博士
• 模型版本: 1.0

用途与限制

本模型设计用于生成创意虚构故事，适用场景包括但不限于：

• 叙事创作：生成引人入胜的幻想故事
• 内容生成：为博客、网站等叙事类媒体创作内容
• 创意写作：辅助作家进行灵感构思和叙事发展

模型性能

• 训练数据：基于多样化虚构故事数据集及提示词训练
• 评估指标：困惑度或BLEU分数等指标因具体任务和数据集而异

使用限制

• 内容质量：生成故事的连贯性和质量可能存在波动，偶现不合理内容
• 数据偏见：可能反映训练数据中的偏见，敏感主题需谨慎使用
• 输出长度：生成文本长度不一，不一定符合预期
• 微调数据：生成质量依赖于微调数据集的多样性和质量

使用方法

from transformers import GPTNeoForCausalLM, GPT2Tokenizer

tokenizer = GPT2Tokenizer.from_pretrained("Tincando/fiction_story_generator")
model = GPTNeoForCausalLM.from_pretrained("Tincando/fiction_story_generator")

# 生成虚构故事
input_prompt = "[写作提示] 难以置信我以同样的方式死了两次"
input_ids = tokenizer(input_prompt, add_special_tokens=False, return_tensors="pt").input_ids

output = model.generate(input_ids,
        max_length=300,
        temperature=0.9,
        top_k=2,
        top_p=0.9,
        repetition_penalty=1.2,
        do_sample=True,
        num_return_sequences=2
)

generated_story = tokenizer.batch_decode(output,clean_up_tokenization_spaces=True)[0]
print(generated_story)

伦理准则

使用本模型时请考虑：

• 内容审核：实施内容过滤确保生成故事符合社区标准
• 偏见处理：注意输出中的潜在偏见并采取缓解措施
• 隐私保护：避免使用个人/敏感信息作为输入提示
• 法律合规：确保生成内容符合著作权和知识产权法规

引用规范

若在研究中使用本模型，请引用：

• GPT-Neo论文
• Fairseq仓库
• 分层神经故事生成

训练超参数

训练过程使用以下超参数：

• 学习率: 5e-05
• 训练批大小: 8
• 评估批大小: 8
• 随机种子: 42
• 优化器: Adam (β1=0.9, β2=0.999, ε=1e-08)
• 学习率调度器: 线性
• 训练轮次: 5

训练结果

框架版本

• Transformers 4.28.0
• PyTorch 1.12.1+cu116
• Datasets 2.4.0
• Tokenizers 0.12.1