🚀 MiniMaid-L2

MiniMaid-L2是基于MiniMaid-L1模型的微调模型，使用了更大且更高质量的数据集来生成角色扮演能力。它还从名为NoroMaid-7B-DPO的流行角色扮演模型中进行知识蒸馏，以增强其在连贯且出色的角色扮演能力方面的不足。该模型牺牲了一些不易察觉的令牌生成速度，换来了近乎完美且能与30亿参数替代模型竞争的效果！

✨ 主要特性

模型优势

• 知识蒸馏与微调：MiniMaid-L2通过巧妙的知识蒸馏从NoroMaid转移知识，并在MiniMaid-L1的基础上进行微调，构建出更优秀的AI模型，超越了其前身。
• 性能表现：在角色扮演评估中，MiniMaid-L2的整体得分比MiniMaid-L1高0.25，并且在每个主要的角色扮演指标上都击败了顶级的30亿参数模型。它在推理时间、每秒令牌数以及BLEU/ROUGE - L等方面也表现出色，推理时间为54.2秒，比Hermes快3倍，每秒可生成6.88个令牌，在消费级GPU上近乎即时响应，n - 元语法重叠度比任何30亿参数的竞争对手都要强。

适用场景

• 高保真角色扮演生成：能够生成高质量的角色扮演内容。
• 低延迟系统：适用于对延迟要求较低的系统。
• 自定义、角色驱动的故事讲述：可以根据不同角色进行故事创作。

📦 安装指南

文档未提供具体安装步骤，暂无法展示。

💻 使用示例

文档未提供代码示例，暂无法展示。

📚 详细文档

MiniMaid-L1基础模型训练过程

• MiniMaid-L1通过直接偏好优化（DPO）和组合式深度微调过程取得了不错的性能。为防止过拟合，使用了高学习率衰减，并引入了随机化技术，以防止AI学习和记忆。但由于在Google Colab上训练困难，该模型可能在特定任务上表现不佳或欠拟合，也可能对其掌握的知识过拟合。

MiniMaid-L2模型详情

• 参数：拥有10亿参数。（若要运行10亿参数的模型，请咨询GPU供应商）
• 微调工具：使用Unsloth AI进行微调，该 llama 模型使用Unsloth和Huggingface的TRL库进行训练，速度比常规训练快2倍。
• 微调环境：在Google Colab上进行微调。

模型评估指标

推理性能指标

数据集

• iamketan25/roleplay-instructions-dataset
• N-Bot-Int/Iris-Uncensored-R1
• N-Bot-Int/Moshpit-Combined-R2-Uncensored
• N-Bot-Int/Mushed-Dataset-Uncensored
• N-Bot-Int/Muncher-R1-Uncensored
• N-Bot-Int/Millia-R1_DPO

基础模型

N-Bot-Int/MiniMaid-L1

管道标签

文本生成

库名称

peft

指标

字符

🔧 技术细节

文档未提供具体技术细节内容，暂无法展示。

📄 许可证

本模型使用Apache - 2.0许可证。

常用提示信息

⚠️ 重要提示

为获得良好体验，请使用低温1.5、min_p = 0.1和max_new_tokens = 128。