许可证: llama3.1 库名称: transformers 标签:

• mergekit
• 合并 基础模型:
• SentientAGI/Dobby-Mini-Unhinged-Llama-3.1-8B
• Nexesenex/Llama_3.1_8b_Dolermed_V1.01
• Nexesenex/Llama_3.1_8b_Smarteaz_V1.01 模型索引:
• 名称: Llama_3.1_8b_DodoWild_v2.01 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: IFEval (0-Shot) 类型: HuggingFaceH4/ifeval 参数: num_few_shot: 0 指标:
    • 类型: inst_level_strict_acc 和 prompt_level_strict_acc 值: 79.78 名称: 严格准确率 来源: 网址: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_DodoWild_v2.01 名称: Open LLM 排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: BBH (3-Shot) 类型: BBH 参数: num_few_shot: 3 指标:
    • 类型: acc_norm 值: 32.11 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_DodoWild_v2.01 名称: Open LLM 排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MATH Lvl 5 (4-Shot) 类型: hendrycks/competition_math 参数: num_few_shot: 4 指标:
    • 类型: exact_match 值: 19.86 名称: 精确匹配 来源: 网址: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_DodoWild_v2.01 名称: Open LLM 排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GPQA (0-shot) 类型: Idavidrein/gpqa 参数: num_few_shot: 0 指标:
    • 类型: acc_norm 值: 7.16 名称: acc_norm 来源: 网址: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_DodoWild_v2.01 名称: Open LLM 排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MuSR (0-shot) 类型: TAUR-Lab/MuSR 参数: num_few_shot: 0 指标:
    • 类型: acc_norm 值: 12.52 名称: acc_norm 来源: 网址: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_DodoWild_v2.01 名称: Open LLM 排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU-PRO (5-shot) 类型: TIGER-Lab/MMLU-Pro 配置: main 分割: test 参数: num_few_shot: 5 指标:
    • 类型: acc 值: 30.43 名称: 准确率 来源: 网址: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_DodoWild_v2.01 名称: Open LLM 排行榜

合并

这是使用 mergekit 创建的预训练语言模型的合并。

合并详情

合并方法

该模型使用 Model Stock 合并方法，以 SentientAGI/Dobby-Mini-Unhinged-Llama-3.1-8B 作为基础模型进行合并。

合并的模型

合并中包含了以下模型：

• Nexesenex/Llama_3.1_8b_Dolermed_V1.01
• Nexesenex/Llama_3.1_8b_Smarteaz_V1.01

配置

生成该模型使用的 YAML 配置如下：

merge_method: model_stock
models:
  - model: Nexesenex/Llama_3.1_8b_Dolermed_V1.01
    parameters:
      weight: 1.0
  - model: Nexesenex/Llama_3.1_8b_Smarteaz_V1.01
    parameters:
      weight: 1.0
base_model: SentientAGI/Dobby-Mini-Unhinged-Llama-3.1-8B
dtype: bfloat16
normalize: true
chat_template: auto
tokenizer:
  source: union

Open LLM 排行榜评估结果

详细结果可查看此处