✨ 概述

最初作为测试梯度裁剪效果的实验而构思，这个模型异常受到早期测试者的好评，促使其正式发布。

基于Mistral-Nemo-Instruct (ChatML化)微调，Rei-12B旨在使用原型Magnum V5数据混合，复制Claude 3模型（特别是Sonnet和Opus）的精美散文质量。

📥 量化模型

💬 提示格式

Rei-12B使用ChatML格式。典型的对话应如下结构：

<|im_start|>user
你好！<|im_end|>
<|im_start|>assistant
很高兴见到你！<|im_end|>
<|im_start|>user
我能问个问题吗？<|im_end|>
<|im_start|>assistant

推荐系统提示

⚙️ 训练

超参数

• 对于此模型的超参数，我们实验了梯度裁剪，也称为max_grad_norm
• 通过检查模型架构分布，我们设计了三个不同的值，知道Mistral的权重分布为0.1。

• 如果查看图表，你会注意到几点，首先，设置梯度裁剪过高可能对模型有害，因为日志和测试显示模型过拟合，同时设置过低也会导致问题，因为1e-4的运行似乎欠拟合，最好的无疑是0.001的裁剪，产生了既不过拟合也不欠拟合的模型。

配置

模型在8块NVIDIA H200 GPU上训练了2个epoch，由@Kalomaze慷慨提供

⚠️ 致谢

我要感谢Ruka/Sama twinkman | LucyKnada | Kubernetes Bad | PocketDoc | Tav | Trappu | 以及Anthracite/Pygmalion的其他成员提供的测试、反馈和支持。