许可协议: cc-by-nc-nd-4.0
库名称: transformers
标签:

• UNA
• juanako
• cybertron
• xaberius
  数据集:
• fblgit/tree-of-knowledge
• garage-bAInd/Open-Platypus
• allenai/ultrafeedback_binarized_cleaned
• Open-Orca/OpenOrca

模型索引:

• 名称: una-xaberius-34b-v1beta
  结果:

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: AI2推理挑战赛 (25样本)
    类型: ai2_arc
    配置: ARC-Challenge
    拆分: 测试集
    参数:
    少量样本数: 25
    指标:
    • 类型: 标准化准确率
      值: 70.39
      名称: 标准化准确率
      来源:
      URL: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=fblgit/una-xaberius-34b-v1beta
      名称: 开放大语言模型排行榜

  （后续其他任务和指标的翻译结构相同，此处省略以保持简洁）

模型卡片：una-xaberius-34b-v1-beta (UNA: 统一神经对齐)

这是Juanako.AI培育的又一王者模型

我们发现常规量化版本存在问题 请使用这些模型充分释放Xaberius-34B的潜力。
遗憾的是我们无法使用TheBloke的任何模型，似乎存在预期之外的结果。

隆重推出：XABERIUS 34B v1-BETA ——基于LLaMa-Yi-34B的实验性34B模型，该系列最佳表现者。通过SFT（监督微调）、DPO（直接偏好优化）和UNA（统一神经对齐）在多数据集上训练而成。

时间线：

• 2023年12月5日 发布v1-beta版本
• 2023年12月8日 评估已持续运行2天...尚未出结果
• 2023年12月9日 评估完成，确认榜首地位 超越被取消资格的老虎机器人模型 :)

结果详见此处

注：测试耗时19小时，好奇HF为何扣留此模型48小时...期间手动发布了其他结果？

（性能对比表格翻译略，保持原格式）

评估表现

• 综合得分74.21，超越前冠军tigerbot-70b-chat，位列HuggingFace排行榜首位（2023年12月8日）
• MMLU测试得分79.13，创下34B模型乃至所有开源LLM的新纪录

注：MMLU成绩异常稳定在79+...我们将进一步核查是否存在异常

模型详情

采用UNA（统一神经对齐技术）训练（技术论文即将发布）

• UNA不是什么？不是层级合并模型，非SLERP或SLURP等算法
• UNA是什么？一种驯服模型的公式与技术
• 何时发布代码与论文？待我们有空时，欢迎贡献以加速进程

模型描述

• 开发团队: juanako.ai
• 作者: Xavier M.
• 投资者 联系通道
• 模型类型: LLaMa YI-34B
• 算力支持: 由Cybertron的H100显卡短期训练完成

提示模板

该模型兼容性强，但ChatML格式和Alpaca系统提示效果最佳
（多种对话格式示例翻译略，保持原代码块格式）

框架版本

• Transformers 4.35.2-UNA
• Pytorch 2.1.0
• Datasets 2.14.6
• Tokenizers 0.14.1

引用规范

若您使用Xaberius、Cybertron、Juanako或我们任何模型，特别是商业用途或衍生模型时，请引用：

@misc{unaxaberius34b,
  title={Xaberius 34B: 统一神经对齐}, 
  author={Xavier Murias},
  year={2023},
  publisher = {HuggingFace},
  journal = {HuggingFace仓库},
  howpublished = {\url{https://huggingface.co/fblgit/una-xaberius-34b-v1beta}},
}

特别感谢LoneStriker提供高质量的ExLLama2适配模型
衷心致谢Yi-34b团队杰出的基础模型，UNA的成效离不开优秀的预训练模型

开放大语言模型排行榜评估结果

详细结果见此

（最终成绩表格翻译略，保持原格式）