许可证: 其他 库名称: transformers 标签:

• mergekit
• 合并 基础模型:
• mlabonne/ChimeraLlama-3-8B-v2
• grimjim/llama-3-merge-pp-instruct-8B
• grimjim/llama-3-merge-virt-req-8B
• uygarkurt/llama-3-merged-linear
• jeiku/Orthocopter_8B
• grimjim/llama-3-nvidia-ChatQA-1.5-8B
• openlynn/Llama-3-Soliloquy-8B-v2
• VAGOsolutions/Llama-3-SauerkrautLM-8b-Instruct
• nbeerbower/llama-3-stella-8B
• cloudyu/Meta-Llama-3-8B-Instruct-DPO
• NeverSleep/Llama-3-Lumimaid-8B-v0.1-OAS
• flammenai/Mahou-1.0-llama3-8B
• flammenai/Mahou-1.1-llama3-8B 许可证名称: llama3 模型索引:
• 名称: llama-3-stinky-v2-8B 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: AI2推理挑战赛（25次尝试） 类型: ai2_arc 配置: ARC-挑战 分割: 测试 参数: 尝试次数: 25 指标:
    • 类型: 标准化准确率 值: 66.98 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=nbeerbower/llama-3-stinky-v2-8B 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HellaSwag（10次尝试） 类型: hellaswag 分割: 验证 参数: 尝试次数: 10 指标:
    • 类型: 标准化准确率 值: 83.2 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=nbeerbower/llama-3-stinky-v2-8B 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU（5次尝试） 类型: cais/mmlu 配置: 全部 分割: 测试 参数: 尝试次数: 5 指标:
    • 类型: 准确率 值: 68.33 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=nbeerbower/llama-3-stinky-v2-8B 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: TruthfulQA（0次尝试） 类型: truthful_qa 配置: 多项选择 分割: 验证 参数: 尝试次数: 0 指标:
    • 类型: mc2 值: 55.83 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=nbeerbower/llama-3-stinky-v2-8B 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Winogrande（5次尝试） 类型: winogrande 配置: winogrande_xl 分割: 验证 参数: 尝试次数: 5 指标:
    • 类型: 准确率 值: 77.51 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=nbeerbower/llama-3-stinky-v2-8B 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GSM8k（5次尝试） 类型: gsm8k 配置: 主要 分割: 测试 参数: 尝试次数: 5 指标:
    • 类型: 准确率 值: 69.75 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=nbeerbower/llama-3-stinky-v2-8B 名称: 开放LLM排行榜

llama-3-stinky-v2-8B

这是一个使用mergekit合并预训练语言模型的成果。

合并详情

合并方法

本模型采用模型库存合并方法，以flammenai/Mahou-1.1-llama3-8B为基础模型。

合并模型

合并中包含以下模型：

• mlabonne/ChimeraLlama-3-8B-v2
• grimjim/llama-3-merge-pp-instruct-8B
• grimjim/llama-3-merge-virt-req-8B
• uygarkurt/llama-3-merged-linear
• jeiku/Orthocopter_8B
• grimjim/llama-3-nvidia-ChatQA-1.5-8B
• openlynn/Llama-3-Soliloquy-8B-v2
• VAGOsolutions/Llama-3-SauerkrautLM-8b-Instruct
• nbeerbower/llama-3-stella-8B
• cloudyu/Meta-Llama-3-8B-Instruct-DPO
• NeverSleep/Llama-3-Lumimaid-8B-v0.1-OAS
• flammenai/Mahou-1.0-llama3-8B

配置

生成此模型的YAML配置如下：

models:
  - model: mlabonne/ChimeraLlama-3-8B-v2
  - model: cloudyu/Meta-Llama-3-8B-Instruct-DPO
  - model: nbeerbower/llama-3-stella-8B
  - model: VAGOsolutions/Llama-3-SauerkrautLM-8b-Instruct
  - model: uygarkurt/llama-3-merged-linear
  - model: openlynn/Llama-3-Soliloquy-8B-v2
  - model: grimjim/llama-3-merge-pp-instruct-8B
  - model: NeverSleep/Llama-3-Lumimaid-8B-v0.1-OAS
  - model: grimjim/llama-3-merge-virt-req-8B
  - model: jeiku/Orthocopter_8B
  - model: grimjim/llama-3-nvidia-ChatQA-1.5-8B
  - model: flammenai/Mahou-1.0-llama3-8B
merge_method: model_stock
base_model: flammenai/Mahou-1.1-llama3-8B
dtype: bfloat16

开放LLM排行榜评估结果

详细结果请见此处