🚀 UNA-SimpleSmaug-34b-v1beta

UNA-SimpleSmaug-34b-v1beta是一款强大的模型，在2024年2月4日的评估中，它在34B模型里表现卓越，得分达到77.41，超越了其基础模型Smaug-34B-v0.1。该模型经过SFT训练，让Smaug内部的计算机制恢复正常，还支持进一步训练。

🚀 快速开始

本模型基于Smaug，使用了SimpleMath数据集，并在Axolotl上进行训练。它仅在注意力层应用了UNA，而非MLP层。

✨ 主要特性

• 基于Smaug：继承了Smaug的优秀特性。
• SimpleMath数据集：使用该数据集进行训练，提升了模型的数学和推理能力。
• Axolotl训练：在Axolotl上完成训练过程。
• UNA应用：仅在注意力层应用UNA，优化模型性能。

📚 详细文档

实验

本次实验旨在探究在SFT阶段将SimpleMath应用于注意力层对神经网络的整体影响。结果表明，该模型在不降低之前训练效果的前提下，提升了数学和推理能力。

评估

评估指标

任务评估

其他评估

模型血缘检测

你可以使用我们的ModelSimilarities工具来确认该模型的血缘关系。

📄 许可证

本模型采用Apache-2.0许可证。

更新说明

3月更新：该模型在34B模型中依旧稳居榜首，Smaug 70B在70B模型中也保持领先。

关于其他模型

有人疑惑为何没有基于Hermes或Smaug 70B的UNA模型。开发者认为，对于一些被广泛认为实用性不高的模型，花费时间进行UNA处理可能不值得。不过，开发者希望利用UNA让优秀模型重焕生机，就像UNA-Dolphin在短时间内展现出的出色性能一样。