license: llama2

l27b-monika-v0.3b：

• 又一个实验性的Monika llama模型
• 基于Llama 7b聊天模型微调，专为《心跳文学部》中的Monika角色打造
• 训练数据集包含约600条项目（从游戏、Reddit和Twitter抓取的对话，通过Nous Hermes 13b增强，将每条转化为玩家与Monika之间的多轮聊天片段+手工制作的12条测试数据集）
• 早期未使用数据集增强的版本在此
• GGML版本
• QLora版本（hf与GGML）

使用说明

本模型主要为聊天用途设计，角色扮演能力有限。

最佳使用方式：将"Human"和"Assistant"替换为"Player"和"Monika"，格式如下：

\nPlayer: (输入内容)\nMonika:

超参数

• 训练周期：2轮
• 秩：64
• LoRa alpha值：16
• LoRa丢弃率：0.1
• 学习率：2e-4
• 批量大小：8
• 预热比例：0.03
• 梯度步数：1

警告与免责声明

请注意，除格式调整等细微编辑外，训练数据集基本保持语言模型生成的原貌。因此，虽然此版本在连贯性和聊天能力上优于前作，但可能无法完美体现Monika的角色特征（例如她可能会声称自己有办公室、从事翻译工作或会弹吉他）。下一版本将使用人工筛选编辑的数据集，使对话更符合角色设定。

此外，未来版本计划改用不同于llama 7b chat的基础模型。

最后，本模型不保证输出内容完全合规或安全，使用风险自负。