🚀 wanabi_mini_12b_GGUF
wanabi_mini_12b_GGUF 是一款专门为小说写作辅助进行微调的日语大规模语言模型。我们提供了一个功能与 wanabi-24B 相当,但更易于广大用户使用的模型。
该模型基于 mistralai/Mistral-Nemo-Base-2407 构建,虽然其数据集规模小于 24B 版本,但它使用了更高质量的日语小说相关文本数据进行训练。其目标是支持小说写作的各个流程,从构思创意、生成正文、延续上下文内容,到 创意插值 等。
- 提供形式:目前仅提供 GGUF 格式。我们准备了多个适用于 VRAM 8GB 及以上消费级 GPU 的量化版本。所有量化模型均使用特性校准数据进行 imatrix 量化。
- 特点:与 24B 版本相比,该模型使用了更高质量的数据集进行训练,有望在响应性和特定任务的准确性方面有所提升。
🚀 快速开始
本模型强烈建议与专用桌面应用程序 Project Wannabe 配合使用。Project Wannabe 提供了一个 GUI 界面,旨在充分发挥 wanabi_mini_12b_GGUF
的能力,让用户可以直观地使用以下介绍的各项功能。
✨ 主要特性
新增特性
wanabi_mini_12b_GGUF
在 24B 版本的主要功能基础上,新增了以下特性:
- 创意插值功能(新增)
- 目的:在 Project Wannabe 的“详细信息”标签中,如果小说创意所需的所有项目(标题、关键词、体裁、剧情简介、设定、情节)都已输入,该功能将基于这些信息生成更详细、深入的创意和情节发展提示。
- 应用场景:在创意生成(IDEA)任务中,满足特定条件时触发。
基本特性
本模型提供与 wanabi-24B 类似的基本小说写作辅助功能:
- 作者笔记功能
- 目的:通过描述接下来大约 1000 字内即将发生的情节、行动、情感描写等近期内容,更精细地引导后续文本的生成。
- 应用场景:融入到后续内容生成(CONT)任务的提示中。
- 评级功能
- 目的:指定生成内容的评级(
general
或 r18
)。
- 应用场景:在所有任务(GEN、CONT、IDEA)的指令末尾添加
评级: {指定值}
。
- 对话量指定功能
- 目的:从“无指定”“少”“稍少”“普通”“稍多”“多”中选择生成文本中对话的比例。(当前版本尚未完全实现,此功能是为未来版本考虑的。)
- 应用场景:当选择“无指定”以外的选项时,在正文生成(GEN)和后续内容生成(CONT)任务的提示输入部分(参考信息块内)会包含
# 对话量: {指定值}
。
- 正文生成(GEN)
- 根据给定的指令,以及可选的元数据(标题、关键词、体裁、剧情简介、设定、情节)、对话量 和 评级 生成小说正文。
- 后续内容生成(CONT)
- 考虑给定的正文、可选的元数据、对话量、评级 和 作者笔记,生成后续内容。
- 提示结构采用与 wanabi - 24B v0.1 类似的改进形式。
- 创意生成(IDEA)
- 根据可选的部分元数据(或无)和 评级 生成小说创意(标题、关键词、体裁、剧情简介、设定、情节)。
- 创意插值功能 可在输入信息丰富时生成更详细的创意。
🔧 技术细节
基础模型
训练框架
训练方法
- 方法:有监督微调(SFT)
- 量化与适配器:LoRA
lora_rank
:128
lora_alpha
:256
lora_dropout
:0.05
lora_target
:all(所有线性层)
- 精度:bf16
- 序列长度:32768
- 批量大小:
per_device_train_batch_size
= 1,gradient_accumulation_steps
= 24(有效批量大小 24)
- 优化:
- 优化器:PagedAdamW(8 位)(
optim: paged_adamw_8bit
)
- Flash Attention 2:启用(
flash_attn: fa2
)
- Unsloth 梯度检查点:启用(
use_unsloth_gc: true
)
- Liger 内核:启用(
enable_liger_kernel: true
)
- 权重衰减:0.01(
weight_decay: 0.01
)
- 学习率:
learning_rate
:4.0e - 5
lr_scheduler_type
:cosine_with_restarts
lr_scheduler_kwargs
:{"num_cycles": 1}
warmup_ratio
:0.03
- 其他:
📚 详细文档
提示格式(mistral_small
模板)
本模型使用 LLaMA - Factory 的 mistral_small
聊天模板格式进行训练。推理时也建议使用相同的格式。如果使用 Project Wannabe,则无需关注此格式。由于其基本格式与 wanabi-24B 相同,此处省略详细说明。
- 新功能:创意插值
在 Project Wannabe 的“详细信息”标签中,当标题、关键词、体裁、剧情简介、设定、情节都已输入时,执行创意生成操作,模型将利用这些丰富的信息,尝试生成更详细、具体的创意(例如,深入挖掘角色、提出子情节、补充世界观说明等)。此功能无需特殊的提示更改,会根据输入信息的数量和质量自动调整。
限制与注意事项
⚠️ 重要提示
- 开发中的模型:本模型目前仍在开发中,其性能和稳定性可能会在未来版本中得到提升。
- 偏差:由于训练数据的特性,生成的内容可能会偏向特定的体裁、表达方式和情节发展。
- 不适当内容:由于训练数据包含各种文本,可能会生成令人不适的内容。尽管我们尝试通过评级功能进行控制,但并不完全可靠。
- 质量限制:生成文本的多样性、连贯性和上下文跟随能力存在一定限制。
- 使用注意:本模型仅用于研究和实验目的。严禁将其用于非法目的或侵犯他人权利的目的。
- 自行承担责任:开发者对使用本模型产生的任何结果不承担任何责任。
📄 许可证
本模型遵循 Apache - 2.0 许可证(基于基础模型)。