基础模型来源：

• rombodawg/Rombos-LLM-V2.5-Qwen-7b
• suayptalha/Clarus-7B-v0.1
• gz987/qwen2.5-7b-cabs-v0.3
• prithivMLmods/WebMind-7B-v0.1
• fblgit/cybertron-v4-qw7B-MGS
• Xiaojian9992024/Qwen2.5-THREADRIPPER-Small

模型库名称：

transformers

标签：

• mergekit
• merge

模型索引：

• 名称: Qwen2.5-Dyanka-7B-Preview 测试结果：
  • 任务类型: 文本生成 数据集: IFEval (零样本) 指标: 平均准确率76.4%
  • 任务类型: 文本生成 数据集: BBH (三样本) 指标: 标准化准确率36.62%
  • 任务类型: 文本生成 数据集: MATH Lvl 5 (四样本) 指标: 精确匹配率48.79%
  • 任务类型: 文本生成 数据集: GPQA (零样本) 指标: 标准化准确率8.95%
  • 任务类型: 文本生成 数据集: MuSR (零样本) 指标: 标准化准确率15.51%
  • 任务类型: 文本生成 数据集: MMLU-PRO (五样本) 指标: 准确率37.51%

许可证：

Apache-2.0

模型融合说明

这是使用mergekit工具对预训练语言模型进行融合的结果。

融合细节

融合方法

本模型采用TIES融合方法，以gz987/qwen2.5-7b-cabs-v0.3作为基础模型。

参与融合的模型

包含以下模型：

• rombodawg/Rombos-LLM-V2.5-Qwen-7b
• suayptalha/Clarus-7B-v0.1
• prithivMLmods/WebMind-7B-v0.1
• fblgit/cybertron-v4-qw7B-MGS
• Xiaojian9992024/Qwen2.5-THREADRIPPER-Small

配置参数

采用以下YAML配置进行模型融合：

models:
  - model: gz987/qwen2.5-7b-cabs-v0.3
    #基础模型无需参数
  - model: suayptalha/Clarus-7B-v0.1
    参数:
      密度: 0.2
      权重: 0.2
  - model: Xiaojian9992024/Qwen2.5-THREADRIPPER-Small
    参数:
      密度: 0.2
      权重: 0.2
  - model: rombodawg/Rombos-LLM-V2.5-Qwen-7b
    参数:
      密度: 0.2
      权重: 0.2
  - model: prithivMLmods/WebMind-7B-v0.1
    参数:
      密度: 0.2
      权重: 0.2
  - model: fblgit/cybertron-v4-qw7B-MGS
    参数:
      密度: 0.2
      权重: 0.2
      
融合方法: ties
基础模型: gz987/qwen2.5-7b-cabs-v0.3
参数:
  标准化: false
  int8掩码: true
数据类型: bfloat16

开放大模型排行榜评估结果

详细结果参见此处！ 汇总结果参见此处！