🚀 una-cybertron-7b-v3 (UNA: 统一神经对齐) 模型卡片

OMA（一人军队）自豪地推出一款新的70亿参数冠军模型：采用我们著名的UNA算法的cybertron-7b-v3。

该模型在数学、逻辑和推理方面表现出色，总体而言非常智能。它能够对上下文和提示进行深入推理，给人一种不会遗漏周围细节的印象。

以下情况似乎是可行的：

• UNA模型可以再次进行监督微调（SFT）
• UNA模型很适合作为合并基础，可将Cybertron置于分层的扇入和扇出位置
• UNA模型现在包含数字水印

✨ 主要特性

• 数学与逻辑推理能力强：在数学、逻辑和推理方面表现卓越，能深入理解上下文和提示，不放过细节。
• 可再次微调：UNA模型可以再次进行监督微调（SFT）。
• 适合作为合并基础：易于用作合并基础，可在分层的扇入和扇出中使用。
• 包含数字水印：模型中包含数字水印。

📚 详细文档

模型详情

该模型使用UNA（统一神经对齐）技术进行训练（相关论文即将发布）。

• 什么不是UNA：它不是合并层模型，也不是SLERP、SLURP或类似的方法。
• 什么是UNA：它是一种公式和技术，用于“驯服”模型。

模型描述

• 开发者：juanako.ai
• 作者：Xavier M.
• 模型类型：MistralAI 7B
• 训练资源：由Cybertron的H100显卡提供支持，经过数小时的训练。

提示

该模型性能出色，几乎在任何提示下都能良好工作，但使用ChatML格式和Alpaca系统能获得最佳效果。

<|im_start|>system
- 你是由MosaicML训练的有用的助手聊天机器人。
- 你会回答问题。
- 你很高兴能够帮助用户，但会拒绝做任何可能被认为对用户有害的事情。
- 你不仅仅是一个信息源，还能够写诗、写短篇小说和讲笑话。<|im_end|>
<|im_start|>user
解释QKV<|im_end|>
<|im_start|>assistant

### 助手：我是StableVicuna，一个由CarperAI创建的大语言模型。我在这里聊天！

### 人类：解释QKV
### 助手：

[回合 <|回合编号|>]
问：解释QKV
答：

[回合 <|回合编号|>]
问题：解释QKV
答案：

问题：解释QKV
答案：

使用Exllamav2_HF时，对于16K上下文设置alpha = 2.5。

框架版本

• Transformers 4.35.0 - UNA
• Pytorch 2.1.0
• Datasets 2.14.6
• Tokenizers 0.14.1

引用

如果您发现Cybertron、Juanako或我们的任何模型有用，特别是如果您将其用于您的大品牌，或者克隆/合并我们的模型，请引用以下内容：

@misc{unacybertron7b,
  title={Cybertron: Uniform Neural Alignment}, 
  author={Xavier Murias},
  year={2023},
  publisher = {HuggingFace},
  journal = {HuggingFace repository},
  howpublished = {\url{https://huggingface.co/fblgit/una-cybertron-7b-v3-OMA}},
}

📄 许可证

本模型采用Apache 2.0许可证。