许可协议：知识共享-署名-非商业性使用-禁止演绎 4.0
标签：

• 训练生成
  模型索引：
• 名称：UNA-TheBeagle-7b-v1
  结果：[]
  数据集：
• jondurbin/bagel-v0.3
  库名称：transformers

 ——以此纪念我挚爱的"LoLa"——

UNA-TheBeagle-7b-v1

TheBeagle是基于The Bagel数据集训练的70亿参数模型，采用DPO（直接偏好优化）和UNA（统一神经架构）技术对精选的DPO配对集进行优化。

• 荣登HF排行榜首位，表现惊艳！！！ARC得分73，各项能力均衡出众！

数据集通过原始bagel代码生成，包含去污染处理步骤。
基础模型采用英特尔最新neural-chat模型。
该模型在多任务中表现优异，但建议您亲自体验其性能。

评估结果

使用VLLM运行（可能与榜单分数存在细微偏差，但整体接近）：

vllm (预训练模型=fblgit/UNA-TheBeagle-7b-v1, 数据类型=自动, 张量并行度=1, GPU内存利用率=0.8, 数据并行度=8, 信任远程代码=True), 生成参数: (无), 限制: 无, 少量样本数: 无, 批次大小: 32  
|    任务       |版本 |  筛选  |样本数|   指标   | 得分  |   |标准误差|  
|--------------|-----|--------|-----:|---------|------:|---|------:|  
|arc挑战赛     |Yaml |无      |    25|准确率   |0.7090 |±  |0.0133 |  
|              |     |无      |    25|归一准确率|0.7329 |±  |0.0129 |  
|gsm8k数学题   |Yaml |获取答案|     5|精确匹配 |0.7210 |±  |0.0124 |  
|hellaswag常识 |Yaml |无      |    10|准确率   |0.7202 |±  |0.0045 |  
|              |     |无      |    10|归一准确率|0.8792 |±  |0.0033 |  
|真实问答mc2   |Yaml |无      |     0|准确率   |0.7062 |±  |0.0151 |  
|winogrande推理|Yaml |无      |     5|准确率   |0.8366 |±  |0.0104 |  

UNA技术细节

本次发布仅对感知机层应用UNA优化，学习速率设为3.5e-7，训练代码基于原始bagel及transformers-4.35.2-UNA实现。

提示格式

由于采用原始bagel训练代码，提示格式未完全确定。但优秀模型应能适应不同提示风格，欢迎尝试各种形式。

引用须知

若使用UNA系列模型，请在模型卡片中注明引用。

使用限制

仅限学术研究用途，禁止商业应用。