许可协议: apache-2.0
标签:

• 模型融合
• mergekit工具
• lazymergekit工具
• mistralai/Mistral-7B-v0.1模型
• Intel/neural-chat-7b-v3-1模型

MISTRALNEURAL-7B-slerp融合模型

MISTRALNEURAL-7B-slerp是通过mergekit工具融合以下模型而成：

• mistralai/Mistral-7B-v0.1
• Intel/neural-chat-7b-v3-1

🧩 融合配置

切片配置:  
  - 源模型:  
      - 模型: mistralai/Mistral-7B-v0.1  
        层级范围: [0, 32]  
      - 模型: Intel/neural-chat-7b-v3-1  
        层级范围: [0, 32]  
融合方法: slerp球面线性插值  
基础模型: mistralai/Mistral-7B-v0.1  
参数设置:  
  t值配置:  
    - 过滤器: self_attn自注意力层  
      取值: [0, 0.5, 0.3, 0.7, 1]  
    - 过滤器: mlp多层感知机  
      取值: [1, 0.5, 0.7, 0.3, 0]  
    - 默认值: 0.5  
数据类型: bfloat16