许可证: llama3.1
库名称: transformers
标签:

• mergekit
• merge
  基础模型:
• Nexesenex/Llama_3.1_8b_Smarteaz_0.21_R1
• Nexesenex/Llama_3.1_8b_Smarteaz_0.11a
• Nexesenex/Llama_3.1_8b_Smarteaz_0.21_SN

模型索引:

• 名称: Llama_3.1_8b_Smarteaz_V1.01
  结果:

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: IFEval (0样本)
    类型: HuggingFaceH4/ifeval
    参数:
    num_few_shot: 0
    指标:

    • 类型: 实例级严格准确率和提示级严格准确率
      值: 81.51
      名称: 严格准确率
      来源:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Smarteaz_V1.01
      name: Open LLM 排行榜

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: BBH (3样本)
    类型: BBH
    参数:
    num_few_shot: 3
    指标:

    • 类型: 归一化准确率
      值: 32.28
      名称: 归一化准确率
      来源:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Smarteaz_V1.01
      name: Open LLM 排行榜

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: MATH 5级 (4样本)
    类型: hendrycks/competition_math
    参数:
    num_few_shot: 4
    指标:

    • 类型: 精确匹配
      值: 23.41
      名称: 精确匹配
      来源:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Smarteaz_V1.01
      name: Open LLM 排行榜

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: GPQA (0样本)
    类型: Idavidrein/gpqa
    参数:
    num_few_shot: 0
    指标:

    • 类型: 归一化准确率
      值: 7.94
      名称: 归一化准确率
      来源:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Smarteaz_V1.01
      name: Open LLM 排行榜

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: MuSR (0样本)
    类型: TAUR-Lab/MuSR
    参数:
    num_few_shot: 0
    指标:

    • 类型: 归一化准确率
      值: 8.2
      名称: 归一化准确率
      来源:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Smarteaz_V1.01
      name: Open LLM 排行榜

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: MMLU-PRO (5样本)
    类型: TIGER-Lab/MMLU-Pro
    配置: main
    拆分: test
    参数:
    num_few_shot: 5
    指标:

    • 类型: 准确率
      值: 30.4
      名称: 准确率
      来源:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Nexesenex/Llama_3.1_8b_Smarteaz_V1.01
      name: Open LLM 排行榜

简介

合并成功，属于 Smarteaz V1 70b 系列。可作为智能模块用于更复杂的 8b 模型合并。

合并详情

这是使用 mergekit 合并预训练语言模型的结果。

合并细节

合并方法

本模型采用 Model Stock 方法合并，以 Nexesenex/Llama_3.1_8b_Smarteaz_0.11a 为基础模型。

合并模型

合并包含以下模型:

• Nexesenex/Llama_3.1_8b_Smarteaz_0.21_R1
• Nexesenex/Llama_3.1_8b_Smarteaz_0.21_SN

配置

生成本模型的 YAML 配置如下:

merge_method: model_stock  
models:  
  - model: Nexesenex/Llama_3.1_8b_Smarteaz_0.21_R1  
    parameters:  
      weight: 1.0  
  - model: Nexesenex/Llama_3.1_8b_Smarteaz_0.21_SN  
    parameters:  
      weight: 1.0  
base_model: Nexesenex/Llama_3.1_8b_Smarteaz_0.11a  
dtype: bfloat16  
normalize: true  
chat_template: auto  
tokenizer:  
  source: union  

Open LLM 排行榜评估结果

详细结果参见此处