许可证：llama3.1
库名称：transformers
标签：

• mergekit
• merge
  基础模型：
• huihui-ai/Dolphin3.0-Llama3.1-8B-abliterated
• meditsolutions/Llama-3.1-MedIT-SUN-8B
• mlabonne/Hermes-3-Llama-3.1-8B-lorablated

模型索引：

• 名称：Llama_3.1_8b_Dolermed_V1.01
  结果：

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：IFEval（0-Shot）
    类型：HuggingFaceH4/ifeval
    参数：
    num_few_shot: 0
    指标：

    • 类型：inst_level_strict_acc 和 prompt_level_strict_acc
      值：50.87
      名称：严格准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Dolermed_V1.01
      name：Open LLM Leaderboard

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：BBH（3-Shot）
    类型：BBH
    参数：
    num_few_shot: 3
    指标：

    • 类型：acc_norm
      值：31.71
      名称：归一化准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Dolermed_V1.01
      name：Open LLM Leaderboard

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MATH Lvl 5（4-Shot）
    类型：hendrycks/competition_math
    参数：
    num_few_shot: 4
    指标：

    • 类型：exact_match
      值：13.44
      名称：精确匹配
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Dolermed_V1.01
      name：Open LLM Leaderboard

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：GPQA（0-shot）
    类型：Idavidrein/gpqa
    参数：
    num_few_shot: 0
    指标：

    • 类型：acc_norm
      值：5.93
      名称：acc_norm
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Dolermed_V1.01
      name：Open LLM Leaderboard

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MuSR（0-shot）
    类型：TAUR-Lab/MuSR
    参数：
    num_few_shot: 0
    指标：

    • 类型：acc_norm
      值：10.21
      名称：acc_norm
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Dolermed_V1.01
      name：Open LLM Leaderboard

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MMLU-PRO（5-shot）
    类型：TIGER-Lab/MMLU-Pro
    配置：main
    分割：test
    参数：
    num_few_shot: 5
    指标：

    • 类型：acc
      值：28.56
      名称：准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Dolermed_V1.01
      name：Open LLM Leaderboard

合并

这是使用 mergekit 合并预训练语言模型的结果。

合并详情

合并方法

此模型使用 Model Stock 合并方法，以 huihui-ai/Dolphin3.0-Llama3.1-8B-abliterated 为基础模型进行合并。

合并的模型

合并中包含以下模型：

• meditsolutions/Llama-3.1-MedIT-SUN-8B
• mlabonne/Hermes-3-Llama-3.1-8B-lorablated

配置

生成此模型使用的 YAML 配置如下：

merge_method: model_stock  
models:  
  - model: mlabonne/Hermes-3-Llama-3.1-8B-lorablated  
    parameters:  
      weight: 1.0  
  - model: meditsolutions/Llama-3.1-MedIT-SUN-8B  
    parameters:  
      weight: 1.0  
base_model: huihui-ai/Dolphin3.0-Llama3.1-8B-abliterated  
dtype: bfloat16  
normalize: true  
chat_template: auto  
tokenizer:  
  source: union  

Open LLM Leaderboard 评估结果

详细结果请参见此处