许可证: 其他 库名称: transformers 标签:

• mergekit
• 合并 基础模型:
• Test157t/Pasta-PrimaMaid-7b
• macadeliccc/WestLake-7B-v2-laser-truthy-dpo 模型索引:
• 名称: Pasta-Lake-7b 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: AI2推理挑战赛 (25样本) 类型: ai2_arc 配置: ARC挑战赛 分割: 测试集 参数: 少量样本数: 25 指标:
    • 类型: 标准化准确率 值: 70.82 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Test157t/Pasta-Lake-7b 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HellaSwag (10样本) 类型: hellaswag 分割: 验证集 参数: 少量样本数: 10 指标:
    • 类型: 标准化准确率 值: 87.91 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Test157t/Pasta-Lake-7b 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU (5样本) 类型: cais/mmlu 配置: 全部 分割: 测试集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 64.41 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Test157t/Pasta-Lake-7b 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: TruthfulQA (0样本) 类型: truthful_qa 配置: 多选 分割: 验证集 参数: 少量样本数: 0 指标:
    • 类型: mc2 值: 68.28 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Test157t/Pasta-Lake-7b 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Winogrande (5样本) 类型: winogrande 配置: winogrande_xl 分割: 验证集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 82.64 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Test157t/Pasta-Lake-7b 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GSM8k (5样本) 类型: gsm8k 配置: 主要 分割: 测试集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 64.37 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Test157t/Pasta-Lake-7b 名称: 开放LLM排行榜

感谢@Kooten这位传奇人物提供的exl2量化版本: https://huggingface.co/models?search=Kooten/Pasta-Lake-7b-exl2

感谢@bartowski这位兄弟提供的额外exl2量化版本，请也给他一些支持: https://huggingface.co/bartowski/Pasta-Lake-7b-exl2/tree/main

同时感谢@konz00提供的gguf量化版本: https://huggingface.co/konz00/Pasta-Lake-7b-GGUF

感谢@Lewdiculus提供的其他GGUF量化版本: https://huggingface.co/Lewdiculous/Pasta-Lake-7b-GGUF

已添加ST预设文件

合并的模型

本次合并包含以下模型:

• Test157t/Pasta-PrimaMaid-7b
• macadeliccc/WestLake-7B-v2-laser-truthy-dpo

配置

使用以下YAML配置生成该模型:

切片:
  - 源模型:
      - 模型: Test157t/Pasta-PrimaMaid-7b
        层范围: [0, 32]
      - 模型: macadeliccc/WestLake-7B-v2-laser-truthy-dpo
        层范围: [0, 32]
合并方法: slerp
基础模型: Test157t/Pasta-PrimaMaid-7b
参数:
  t:
    - 过滤器: self_attn
      值: [0, 0.5, 0.3, 0.7, 1]
    - 过滤器: mlp
      值: [1, 0.5, 0.7, 0.3, 0]
    - 值: 0.5
数据类型: float16

开放LLM排行榜评估结果

详细结果请查看此处