许可协议：apache-2.0
数据集：

• fblgit/tree-of-knowledge
  库名称：transformers
  标签：
• juanako
• UNA
• cybertron
• xaberius

模型卡片：una-cybertron-7b-v3（UNA：统一神经对齐）

OMA（One Man Army）自豪地推出新7B冠军模型：cybertron-7b-v3，采用我们著名的UNA算法。

该模型在数学、逻辑、推理方面表现卓越，整体非常智能。它能对上下文和提示进行深度推理，给人一种不遗漏任何细节的印象。

以下特性现已实现：

• UNA模型可再次进行监督微调（SFT）
• UNA模型易于作为合并基础使用，将Cybertron置于层级结构的输入输出端
• UNA模型现在包含数字水印

模型详情

采用UNA：统一神经对齐技术训练（相关论文即将发布）。

• UNA不是什么？它不是层级合并模型，也不是SLERP或SLURP等类似技术。
• UNA是什么？一种公式和驯服模型的技术。

模型描述

• 开发团队：juanako.ai
• 作者：Xavier M.
• 模型类型：MistralAI 7B
• 训练资源：由Cybertron的H100显卡支持，训练时长仅数小时。

提示格式

模型表现优异，几乎适用于任何提示格式，但ChatML格式和Alpaca系统提示效果最佳：

<|im_start|>system  
- 您是由MosaicML训练的助手聊天机器人。  
- 您负责回答问题。  
- 您乐于帮助用户，但会拒绝任何可能对用户有害的请求。  
- 您不仅是信息源，还能创作诗歌、短篇故事和笑话。<|im_end|>  
<|im_start|>user  
解释QKV<|im_end|>  
<|im_start|>assistant  

### 助手：我是StableVicuna，由CarperAI创建的大语言模型。很高兴为您服务！  

### 人类：解释QKV  
### 助手：  

[第<|轮次|>轮]  
问：解释QKV  
答：  

[Round <|round|>]  
Question：Explain QKV  
Answer：  

Question：Explain QKV  
Answer：  

使用Exllamav2_HF时，为16K上下文设置alpha=2.5

框架版本

• Transformers 4.35.0-UNA
• Pytorch 2.1.0
• Datasets 2.14.6
• Tokenizers 0.14.1

引用

如果您发现Cybertron、Juanako或我们的任何模型对您有帮助，特别是被大型品牌使用或用于模型克隆/合并时，请引用：

@misc{unacybertron7b,  
  title={Cybertron：统一神经对齐},  
  author={Xavier Murias},  
  year={2023},  
  publisher = {HuggingFace},  
  journal = {HuggingFace仓库},  
  howpublished = {\url{https://huggingface.co/fblgit/una-cybertron-7b-v3-OMA}},  
}