license: apache-2.0 # 遵循基础模型协议（暂定）- 请根据需要修改 language: ja tags:

• 日语
• 文本生成
• 小说创作
• mistral

pipeline_tag: text-generation

wanabi-24B (预览版)

wanabi-24B 是专为小说写作辅助而进行微调的大规模语言模型的预览版本(preview)。

该模型基于mistralai/Mistral-Small-24B-Base-2501，并使用日语小说相关文本数据进行训练。特别擅长小说构思、基于设定的正文生成、上下文连贯的续写等任务。

Alpha版注意事项:

• 概念验证(Proof of Concept): 本版本旨在进行功能验证
• 有限训练: 仅在数据集上进行了1500步训练(plus版为2000步 bs24)
• 提供格式: 目前仅提供**GGUF (Q4_K_M)**格式
• 特性: 仅经过1500步微调！因此基础模型的广泛知识（无论好坏）都保留得十分明显。某种意义上来说，这可能是未来版本中"知识最渊博"的模型。至于小说创作能力...还是期待后续版本吧

敬请期待后续改进。

🚀 与Project Wannabe的联动

强烈建议配合专用桌面应用程序**Project Wannabe**使用本模型。Project Wannabe提供了充分发挥wanabi-24B能力的GUI界面，从构思生成到正文写作、连续生成(无限生成)都能无缝支持。

使用Project Wannabe时，无需关注下文描述的提示格式即可充分利用模型功能。

💻 训练详情

基础模型

• mistralai/Mistral-Small-24B-Base-2501
  • (训练时使用unsloth/Mistral-Small-24B-Base-2501-bnb-4bit)

训练框架

• LLaMA-Factory

训练方法

• QLoRA (4-bit)
  • lora_rank: 128
  • lora_alpha: 256
  • lora_dropout: 0
  • lora_target: all (所有线性层)
• 精度: bf16
• 优化:
  • PagedAdamW (8-bit)
  • Flash Attention 2
  • Unsloth Gradient Checkpointing (use_unsloth_gc: true)
  • Liger Kernel (enable_liger_kernel: true)
• 训练参数:
  • learning_rate: 3.0e-5
  • lr_scheduler_type: cosine_with_restarts (num_cycles: 5)
  • warmup_ratio: 0.03
• 其他:
  • cutoff_len: 32768
  • per_device_train_batch_size: 1
  • gradient_accumulation_steps: 24

📝 训练数据与任务

使用日语小说相关文本数据，通过以下三种主要任务形式进行Instruction Tuning(SFT):

1. 正文生成(GEN):

   • 目的: 根据指令和可选的元数据(标题、关键词、类型、梗概、设定、情节)生成小说正文
   • 格式示例(含元数据):

     <s>[INST] 请根据以下信息生成小说正文
     
     # 标题:
     转生异世界变成流浪狗这件事
     
     # 关键词:
     异世界转生
     狗 [/INST] {生成正文} </s>
     

   • 格式示例(无元数据):

     <s>[INST] 请自由创作小说 [/INST] {生成正文} </s>
     

2. 续写生成(CONT):

   • 目的: 根据给定正文和可选的参考元数据进行续写
   • 格式示例(含元数据):

     <s>[INST] 请参考以下信息续写文章
     
     【正文】
     ```
     本以为被随机杀人魔刺死，结果转生到异世界成了流浪狗
     ```
     【参考信息】
     ```
     # 标题:
     转生异世界变成流浪狗这件事
     
     # 关键词:
     异世界转生
     狗
     流放
     ``` [/INST] {生成续写} </s>
     

   • 格式示例(无元数据):

     <s>[INST] 请续写以下文章
     
     【正文】
     ```
     本以为被随机杀人魔刺死，结果转生到异世界成了流浪狗
     ``` [/INST] {生成续写} </s>
     

3. 构思生成(IDEA):

   • 目的: 根据部分或没有元数据生成完整的小说构思(标题、关键词、类型、梗概、设定、情节)
   • 格式示例(含部分元数据):

     <s>[INST] 请根据以下信息生成完整的小说构思
     
     # 关键词:
     异世界转生
     狗 [/INST] # 标题:
     转生异世界变成流浪狗这件事
     
     # 关键词:
     异世界转生
     狗
     流放
     恋爱
     NTR
     
     # 类型:
     异世界奇幻
     低奇幻
     
     # 梗概:
     本以为被随机杀人魔刺死，结果转生到异世界成了流浪狗。最初很绝望，但被善良少女捡到...
     
     # 设定:
     舞台是剑与魔法的中世纪风格异世界。主角拥有现代知识但被困在狗的身体里
     
     # 情节:
     与少女相遇 -> 城镇骚动 -> 主角特殊能力觉醒 -> 流放危机 -> ... </s>
     

   • 格式示例(无元数据):

     <s>[INST] 请自由创作小说构思 [/INST] {生成构思} </s>
     

提示模板: 训练时使用mistral_small模板格式。推理时也推荐相同格式(<s>[INST] {instruction} {input} [/INST] {output} </s>)

⚠️ 限制与注意事项

• 预览版: 本模型为开发中版本，不保证性能和稳定性
• 偏向性: 受训练数据特性影响，生成内容可能偏向特定类型、表达或情节发展
• 不当内容: 训练数据包含多样文本，可能生成不适合未成年人或令人不适的内容
• 质量限制: 生成文本的多样性、连贯性和上下文跟随能力有限，长文本尤其可能崩坏
• 使用注意: 本模型仅供研究和实验用途。使用者需遵守相关法律法规，严禁用于非法或侵权用途
• 责任自负: 开发者对使用本模型产生的任何后果概不负责，请自行承担使用风险

未来计划

• 预览版的追加训练版 →已取消，preview_plus将成为该数据集的最终模型

目前正在训练支持分级、对话量、作者笔记的数据集

• wanabi-24B vX: 正在使用扩展数据集进行SFT训练(将陆续发布)

(路线图可能会有变更)