language:

• en pipeline_tag: text-generation tags:
• unsloth
• axolotl license: cc-by-nc-nd-4.0

Llama 3 梦境生成巨著版

🚨 警告 🚨

该模型存在问题，请改用以下预览模型：

• 基于Llama 3 8B基础版的新训练
• 基于Llama 3 8B指导版的新训练

若模型持续生成无意义输出，请阅读此讨论帖。

专为（可操控的）故事创作与角色扮演打造的模型系列
包含量化版本在内的所有Opus V1模型

资源导航

• Opus V1提示指南含大量可复用的（交互式）示例与提示模板
• Google Colab实时角色扮演演示（使用opus-v1.2-7b）
• Python脚本实现标准提示格式化
• 加入Discord社区获取新模型抢先体验资格

提示工程

<|im_start|>system
（此处填入标准格式的故事设定）
（通常包含情节梗概、风格描述与角色设定）<|im_end|>
<|im_start|>user
（您对故事后续发展的指令）<|im_end|>
<|im_start|>text names=爱丽丝
（从爱丽丝视角展开的叙事）<|im_end|>
<|im_start|>text
（无特定视角的纯旁白叙事）<|im_end|>
<|im_start|>user
（您对故事后续发展的指令）<|im_end|>
<|im_start|>text names=鲍勃
（从鲍勃视角展开的叙事）<|im_end|>

虽然模型核心能力在于卓越的故事创作与角色扮演，但也擅长多种写作任务及通用辅助。

以下是不同任务的提示方法：

可控故事创作与角色扮演

• 故事创作提示指南
• 角色扮演提示指南
• 输入：
  • 系统提示：提供包含以下要素的故事/角色设定：
    • 情节梗概
    • 风格描述
    • 角色及其背景设定
  • 对话轮次：
    • 文本/消息轮：代表故事或角色扮演片段
    • 指令轮：指导模型后续发展
• 输出：故事/角色扮演的延续

故事梗概提炼

• 提示指南
• 输入：完整故事或若干章节
• 输出：故事或章节的概要

示例：

角色设定生成

• 提示指南
• 输入：故事文本或角色集合
• 输出：角色特征描述

示例：

文风分析

• 提示指南
• 输入：故事文本
• 输出：写作风格解析

大纲转章节

• 提示指南
• 输入：简要情节梗概与期望章节数
• 输出：各章节内容设计

其他功能...

采样参数

对于故事创作与角色扮演，推荐采用"Min P"采样策略：

• min_p范围：[0.01, 0.1]
• temperature范围：[0.5, 1.5] 建议初始值：min_p=0.1; temperature=0.8

在较低温度下，适当设置presence/frequency/repetition惩罚参数效果更佳。

训练数据

微调数据集包含约1亿token，涵盖：

• 可控故事创作
• 角色扮演
• 写作辅助
• 通用助手 每条样本最长可达31000token

所有故事创作与角色扮演样本均基于人类撰写文本

模型运行

模型理论上兼容所有支持基础模型的框架，但需注意提示格式与token化问题。

推荐使用以下版本：

• 7B：无量化版
• 34B：无量化版或AWQ量化版
• 70B：无量化版或AWQ量化版

DreamGen.com在线运行（免费）

可通过dreamgen.com免费使用：

• 内置故事创作&角色扮演UI
• 或调用API接口

本地部署

• 确保提示格式严格符合Opus V1标准
  • 无论使用何种后端，规范的提示格式与正确的token化至关重要
  • 阅读提示指南
  • 查看格式化代码
  • 验证<|im_start|>和<|im_end|>的token化是否正确
• vLLM
  • Google Colab：简易交互式笔记本，T4显卡即可运行7B模型
  • 脚本：固定场景的交互式对话演示
• SillyTavern
  • 官方集成文档适用于API与本地模型
  • SillyTavern测试版内置DreamGen角色扮演预设
    • 其他预设文件见此（v2版由@MarinaraSpaghetti提供）
    • 务必取消勾选跳过特殊token选项
    • 注意这只是近似模拟Opus V1提示，效果非完美
  • 适配预设的重写角色卡：
    • 赛拉菲娜（基于默认卡改编）
    • 劳拉·莱特兰（基于Deffcolony原作改编）
• LM Studio
  • 配置
  • 类似ChatML格式，仅将"assistant"角色改为"text"
  • 存在bug：删除消息或点击"继续"时异常，详情见此
• HuggingFace
  • 对话模板
  • 类似ChatML格式，仅将"assistant"角色改为"text"

已知问题

• 34B版本重复问题：
  • 34B有时会陷入单词或近义词重复循环，这在各类Yi 34B微调模型中较常见
• GGUF量化版：
  • 可能存在token化异常。用户反馈<|im_start|>和<|im_end|>被拆分为多token。llama.cpp的token化也可能不准确（Yi tokenizer与Llama 2存在细微差异）

许可协议

• 本模型仅限个人使用，禁止其他用途