🚀 3Bgeneralv2-ECE-PRYMMAL-Martial

这是一个使用mergekit合并预训练语言模型得到的模型，在多个文本生成任务上有评估结果，能为相关研究和应用提供参考。

🚀 快速开始

此模型是使用 mergekit 合并预训练语言模型得到的。

✨ 主要特性

合并详情

合并方法

此模型采用 SLERP 合并方法进行合并。

合并的模型

合并包含以下模型：

• fblgit/cybertron-v4-qw7B-MGS
• Tsunami-th/Tsunami-0.5x-7B-Instruct

配置

以下 YAML 配置用于生成此模型：

slices:
  - sources:
      - model: fblgit/cybertron-v4-qw7B-MGS
        layer_range: [0, 28]
      - model: Tsunami-th/Tsunami-0.5x-7B-Instruct
        layer_range: [0, 28]
merge_method: slerp
base_model: Tsunami-th/Tsunami-0.5x-7B-Instruct
parameters:
  t:
    - filter: self_attn
      value: [1, 0.75, 0.5, 0.25, 0]
    - filter: mlp
      value: [0, 0.25, 0.5, 0.75, 1]
    - value: 0.5
dtype: bfloat16

📚 详细文档

Open LLM Leaderboard 评估结果

详细结果可查看 此处

📄 许可证

本项目采用 Apache-2.0 许可证。