---

license: apache-2.0 model-index:

• name: Chupacabra-7B-v2 results:
  • task: type: 文本生成 name: 文本生成 dataset: name: AI2推理挑战赛（25样本） type: ai2_arc config: ARC挑战赛 split: 测试集 args: num_few_shot: 25 metrics:
    • type: 标准化准确率 value: 65.19 name: 标准化准确率 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=perlthoughts/Chupacabra-7B-v2 name: 开放大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: HellaSwag（10样本） type: hellaswag split: 验证集 args: num_few_shot: 10 metrics:
    • type: 标准化准确率 value: 83.39 name: 标准化准确率 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=perlthoughts/Chupacabra-7B-v2 name: 开放大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: MMLU（5样本） type: cais/mmlu config: 全科目 split: 测试集 args: num_few_shot: 5 metrics:
    • type: 准确率 value: 63.6 name: 准确率 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=perlthoughts/Chupacabra-7B-v2 name: 开放大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: TruthfulQA（0样本） type: truthful_qa config: 多选 split: 验证集 args: num_few_shot: 0 metrics:
    • type: mc2 value: 57.17 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=perlthoughts/Chupacabra-7B-v2 name: 开放大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: Winogrande（5样本） type: winogrande config: winogrande_xl split: 验证集 args: num_few_shot: 5 metrics:
    • type: 准确率 value: 78.14 name: 准确率 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=perlthoughts/Chupacabra-7B-v2 name: 开放大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: GSM8k（5样本） type: gsm8k config: 主集 split: 测试集 args: num_few_shot: 5 metrics:
    • type: 准确率 value: 54.74 name: 准确率 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=perlthoughts/Chupacabra-7B-v2 name: 开放大模型排行榜

---

Chupacabra 7B v2

模型描述

该模型采用SLERP融合方法对基于Mistral的模型进行合并而成。

SLERP相较于权重平均（常见方法）的优势如下：

• 球面线性插值（SLERP）——传统模型融合常采用权重平均法，虽然简单直接，但可能无法充分捕捉待合并模型的复杂特征。SLERP技术解决了这一局限，生成的混合模型能平滑插值双亲模型特性，确保继承双方精髓。

• 平滑过渡——SLERP能实现模型参数间的更平滑过渡，这对高维向量插值尤为重要。

• 更好保留特性——与可能稀释特征的权重平均不同，SLERP在高维空间中保留了双模型的曲率和特征。

• 细腻融合——SLERP考虑模型在向量空间中的几何与旋转特性，使融合结果更能体现双亲模型特质。

完整模型列表与融合路径即将公布。

目标

通过直接偏好优化（DPO）、监督微调（SFT）和强化学习等先进训练方法，融合Mistral模型中"最厚实"的权重。

我投入无数时间研读最新论文、参加学术会议、与领域专家交流。通过尝试不同算法策略、调优超参数、优化器和代码，最终取得了最佳成果。

过程并非一帆风顺。有人质疑我的能力和方法。方法可以调整，但封闭的思维无法改变。

我将质疑化为动力，日夜兼程（vapenation），最终成功融合了采用DPO等前述先进训练技术的高性能模型权重。

感谢openchat 3.5为我指明方向。

"无论爱恨，逆袭者终将登顶。"——The Game

这是我的贡献。

提示模板

将{system}替换为系统提示，{prompt}替换为指令提示。

<|im_start|>system
{system}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

问题修复

• 修复了生成错误和模型权重问题。权重已修正，生成功能恢复。GGUF版本和AWQ版本已重新上传至对应仓库。

• 修复了分词器终止异常问题并更新提示模板。

• 上传了新的融合模型权重。

更多信息

• 开发者: Ray Hernandez
• 模型类型: Mistral
• 支持语言: 英语
• 许可证: Apache 2.0

模型来源 [可选]

用途

直接使用

[需补充信息]

下游应用 [可选]

[需补充信息]

非适用场景

[需补充信息]

偏见、风险与局限

[需补充信息]

建议

用户（包括直接使用和下游开发）应充分了解模型的风险、偏见和局限性。需更多信息以提供进一步建议。

快速开始

使用以下代码快速体验模型。

[需补充信息]

训练详情

训练数据

[需补充信息]

训练流程

预处理 [可选]

[需补充信息]

训练超参数

• 训练模式: [需补充信息]

速度、规模与耗时 [可选]

[需补充信息]

评估

测试数据、要素与指标

测试数据

[需补充信息]

要素

[需补充信息]

指标

[需补充信息]

结果

[需补充信息]

总结

模型检验 [可选]

[需补充信息]

技术规格 [可选]

模型架构与目标

[需补充信息]

计算基础设施

[需补充信息]

硬件

[需补充信息]

软件

[需补充信息]

引用 [可选]

BibTeX:

[需补充信息]

APA:

[需补充信息]

术语表 [可选]

[需补充信息]

更多信息 [可选]

[需补充信息]

模型卡作者 [可选]

[需补充信息]

模型卡联系方式

[需补充信息]

开放大模型排行榜评估结果

详细结果参见此处

指标	值
平均得分	67.04
AI2推理挑战赛（25样本）	65.19
HellaSwag（10样本）	83.39
MMLU（5样本）	63.60
TruthfulQA（0样本）	57.17
Winogrande（5样本）	78.14
GSM8k（5样本）	54.74