许可证：llama3.1
库名称：transformers
标签：

• mergekit
• 合并
  基础模型：
• Nexesenex/Llama_3.1_8b_Mediver_V1.01
• SentientAGI/Dobby-Mini-Unhinged-Llama-3.1-8B
• Nexesenex/Llama_3.1_8b_Smarteaz_V1.01

模型索引：

• 名称：Llama_3.1_8b_Medusa_v1.01
  结果：

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：IFEval（0样本）
    类型：HuggingFaceH4/ifeval
    参数：
    num_few_shot: 0
    指标：

    • 类型：inst_level_strict_acc和prompt_level_strict_acc
      值：76.85
      名称：严格准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Medusa_v1.01
      名称：Open LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：BBH（3样本）
    类型：BBH
    参数：
    num_few_shot: 3
    指标：

    • 类型：acc_norm
      值：30.03
      名称：归一化准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Medusa_v1.01
      名称：Open LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MATH Lvl 5（4样本）
    类型：hendrycks/competition_math
    参数：
    num_few_shot: 4
    指标：

    • 类型：exact_match
      值：14.65
      名称：精确匹配
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Medusa_v1.01
      名称：Open LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：GPQA（0样本）
    类型：Idavidrein/gpqa
    参数：
    num_few_shot: 0
    指标：

    • 类型：acc_norm
      值：5.59
      名称：归一化准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Medusa_v1.01
      名称：Open LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MuSR（0样本）
    类型：TAUR-Lab/MuSR
    参数：
    num_few_shot: 0
    指标：

    • 类型：acc_norm
      值：9.03
      名称：归一化准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Medusa_v1.01
      名称：Open LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MMLU-PRO（5样本）
    类型：TIGER-Lab/MMLU-Pro
    配置：main
    分割：test
    参数：
    num_few_shot: 5
    指标：

    • 类型：acc
      值：28.13
      名称：准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Medusa_v1.01
      名称：Open LLM排行榜

合并

这是使用mergekit创建的预训练语言模型的合并结果。

合并详情

合并方法

此模型使用模型库存合并方法，以SentientAGI/Dobby-Mini-Unhinged-Llama-3.1-8B为基础进行合并。

合并的模型

以下模型参与了合并：

• Nexesenex/Llama_3.1_8b_Mediver_V1.01
• Nexesenex/Llama_3.1_8b_Smarteaz_V1.01

配置

以下是生成此模型所使用的YAML配置：

merge_method: model_stock  
models:  
  - model: Nexesenex/Llama_3.1_8b_Mediver_V1.01  
    parameters:  
      weight: 1.0  
  - model: Nexesenex/Llama_3.1_8b_Smarteaz_V1.01  
    parameters:  
      weight: 1.0  
base_model: SentientAGI/Dobby-Mini-Unhinged-Llama-3.1-8B  
dtype: bfloat16  
normalize: true  
chat_template: auto  
tokenizer:  
  source: union  

Open LLM排行榜评估结果

详细结果请参见此处