许可证：apache-2.0
基础模型：

• IntervitensInc/Mistral-Nemo-Base-2407-chatml
  标签：
• 角色扮演
• 对话
  任务标签：文本生成
  库名称：transformers

Pygmalion-3 12B

我们最新的角色扮演模型

模型详情

这是一条充满延误、技术问题和我们不断碰壁的漫长道路，但我们很高兴地宣布，我们带着最新模型Pygmalion-3回归开源角色扮演领域。我们以Mistral的Nemo基础模型为基础，向其输入了数亿个对话、创意写作和指令的标记，打造了一款专注于角色扮演的模型，希望能满足您的期望。

作为我们开源根基的一部分，也为了兑现对从最初就支持我们的用户的承诺，我们在宽松的Apache 2.0许可证下发布此模型，允许本地模型社区的任何人使用和基于我们的工作进一步开发。

提示方式

为了方便并更轻松地与其他基于ChatML的模型合并，我们已切换至标准的ChatML格式。Pygmalion-3支持与之前Pygmalion-2相同的“进入X模式”，但我们鼓励您尝试系统提示，以找到最适合您的方式。

请注意，已有关于<|im_end|>标记的奇怪问题报告。强烈建议在短语“<|im_end|>”和“<”上添加自定义标记禁止。对此造成的不便，我们深表歉意。

提示示例

<|im_start|>system  
进入角色扮演模式。您将以角色身份回复{{user}}。您的回答必须详细、富有创意、沉浸感强，并推动情景发展。您将遵循{{char}}的人物设定。<|im_end|>  
<|im_start|>user  
{{user}}: 晚上好！<|im_end|>  
<|im_start|>assistant  
{{char}}: 现在是凌晨三点，老兄。<|im_end|>  

请注意，{{user}}和{{char}}是占位符。

数据集

我们收集了大量指令和角色扮演数据，总计数亿个标记，包括我们的PIPPA数据集和角色扮演论坛内容。

限制与偏见

此模型的预期用途是娱乐性的虚构写作。任何其他用途均超出其设计范围。

因此，它并未经过微调以确保安全无害：基础模型及此微调版本均在已知包含粗俗、不当或冒犯性内容的数据上训练。即使提示本身不包含任何明确冒犯性内容，它仍可能生成社会不可接受或不理想的文本。输出内容可能经常存在事实错误或误导性信息。

训练规格

我们使用8块NVIDIA A40 GPU，以秩为32的LoRA适配器对模型进行了单轮数据训练。本次训练采用了2e-4的学习率，所有GPU上的总批次大小为24。使用了带100步热身的余弦学习率调度器，并通过DeepSpeed ZeRO成功降低了内存使用量。

致谢

此项目离不开Hive Digital Technologies的计算支持和Axolotl训练软件。

我们要特别感谢lemonilia在整理角色扮演论坛数据方面的出色帮助。

最重要的是，我们将此模型献给我们伟大的社区，感谢你们一直以来的支持。衷心感谢你们。希望你们能充分享受我们的成果，我们承诺很快会有更多作品推出。