许可证: mit 库名称: transformers 标签:

• mergekit
• merge
• 数学
• llama3
• 物理
• 化学
• 生物
• dolphin 基础模型:
• cognitivecomputations/dolphin-2.9-llama3-8b
• Weyaxi/Einstein-v6.1-Llama3-8B
• Locutusque/llama-3-neural-chat-v1-8b 模型索引:
• 名称: CosmicBun-8B 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: AI2推理挑战赛(25样本) 类型: ai2_arc 配置: ARC挑战赛 分割: 测试集 参数: 小样本数量: 25 指标:
    • 类型: 标准化准确率 值: 61.86 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=aloobun/CosmicBun-8B 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HellaSwag(10样本) 类型: hellaswag 分割: 验证集 参数: 小样本数量: 10 指标:
    • 类型: 标准化准确率 值: 84.29 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=aloobun/CosmicBun-8B 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU(5样本) 类型: cais/mmlu 配置: 全部 分割: 测试集 参数: 小样本数量: 5 指标:
    • 类型: 准确率 值: 65.53 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=aloobun/CosmicBun-8B 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: TruthfulQA(0样本) 类型: truthful_qa 配置: 多项选择 分割: 验证集 参数: 小样本数量: 0 指标:
    • 类型: mc2 值: 54.08 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=aloobun/CosmicBun-8B 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Winogrande(5样本) 类型: winogrande 配置: winogrande_xl 分割: 验证集 参数: 小样本数量: 5 指标:
    • 类型: 准确率 值: 78.85 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=aloobun/CosmicBun-8B 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GSM8k(5样本) 类型: gsm8k 配置: 主要 分割: 测试集 参数: 小样本数量: 5 指标:
    • 类型: 准确率 值: 68.23 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=aloobun/CosmicBun-8B 名称: 开放大语言模型排行榜

模型

这是使用mergekit合并预训练语言模型的结果。

合并方法

该模型采用DARETIES合并方法，以Locutusque/llama-3-neural-chat-v1-8b为基础模型进行合并。

合并模型

合并包含以下模型：

• cognitivecomputations/dolphin-2.9-llama3-8b
• Weyaxi/Einstein-v6.1-Llama3-8B

配置

以下是生成该模型所用的YAML配置：

基础模型: Locutusque/llama-3-neural-chat-v1-8b
数据类型: bfloat16
合并方法: dare_ties
参数:
  int8掩码: 1.0
  标准化: 0.0
切片:
- 源模型:
  - 层范围: [0, 4]
    模型: cognitivecomputations/dolphin-2.9-llama3-8b
    参数:
      密度: 1.0
      权重: 0.6
  - 层范围: [0, 4]
    模型: Weyaxi/Einstein-v6.1-Llama3-8B
    参数:
      密度: 0.6
      权重: 0.5
  - 层范围: [0, 4]
    模型: Locutusque/llama-3-neural-chat-v1-8b
    参数:
      密度: 1.0
      权重: 0.5
- 源模型:
  - 层范围: [4, 8]
    模型: cognitivecomputations/dolphin-2.9-llama3-8b
    参数:
      密度: 0.8
      权重: 0.1
  - 层范围: [4, 8]
    模型: Weyaxi/Einstein-v6.1-Llama3-8B
    参数:
      密度: 1.0
      权重: 0.2
  - 层范围: [4, 8]
    模型: Locutusque/llama-3-neural-chat-v1-8b
    参数:
      密度: 1.0
      权重: 0.7
- 源模型:
  - 层范围: [8, 12]
    模型: cognitivecomputations/dolphin-2.9-llama3-8b
    参数:
      密度: 0.7
      权重: 0.1
  - 层范围: [8, 12]
    模型: Weyaxi/Einstein-v6.1-Llama3-8B
    参数:
      密度: 0.7
      权重: 0.2
  - 层范围: [8, 12]
    模型: Locutusque/llama-3-neural-chat-v1-8b
    参数:
      密度: 0.7
      权重: 0.6
- 源模型:
  - 层范围: [12, 16]
    模型: cognitivecomputations/dolphin-2.9-llama3-8b
    参数:
      密度: 0.9
      权重: 0.2
  - 层范围: [12, 16]
    模型: Weyaxi/Einstein-v6.1-Llama3-8B
    参数:
      密度: 0.6
      权重: 0.6
  - 层范围: [12, 16]
    模型: Locutusque/llama-3-neural-chat-v1-8b
    参数:
      密度: 0.7
      权重: 0.3
- 源模型:
  - 层范围: [16, 20]
    模型: cognitivecomputations/dolphin-2.9-llama3-8b
    参数:
      密度: 1.0
      权重: 0.2
  - 层范围: [16, 20]
    模型: Weyaxi/Einstein-v6.1-Llama3-8B
    参数:
      密度: 1.0
      权重: 0.2
  - 层范围: [16, 20]
    模型: Locutusque/llama-3-neural-chat-v1-8b
    参数:
      密度: 0.9
      权重: 0.4
- 源模型:
  - 层范围: [20, 24]
    模型: cognitivecomputations/dolphin-2.9-llama3-8b
    参数:
      密度: 0.7
      权重: 0.2
  - 层范围: [20, 24]
    模型: Weyaxi/Einstein-v6.1-Llama3-8B
    参数:
      密度: 0.9
      权重: 0.3
  - 层范围: [20, 24]
    模型: Locutusque/llama-3-neural-chat-v1-8b
    参数:
      密度: 1.0
      权重: 0.4
- 源模型:
  - 层范围: [24, 28]
    模型: cognitivecomputations/dolphin-2.9-llama3-8b
    参数:
      密度: 1.0
      权重: 0.4
  - 层范围: [24, 28]
    模型: Weyaxi/Einstein-v6.1-Llama3-8B
    参数:
      密度: 0.8
      权重: 0.2
  - 层范围: [24, 28]
    模型: Locutusque/llama-3-neural-chat-v1-8b
    参数:
      密度: 0.9
      权重: 0.4
- 源模型:
  - 层范围: [28, 32]
    模型: cognitivecomputations/dolphin-2.9-llama3-8b
    参数:
      密度: 1.0
      权重: 0.3
  - 层范围: [28, 32]
    模型: Weyaxi/Einstein-v6.1-Llama3-8B
    参数:
      密度: 0.9
      权重: 0.2
  - 层范围: [28, 32]
    模型: Locutusque/llama-3-neural-chat-v1-8b
    参数:
      密度: 1.0
      权重: 0.3

开放大语言模型排行榜评估结果

详细结果请查看此处