基础模型:

• inflatebot/MN-12B-Mag-Mell-R1
• TheDrummer/UnslopNemo-12B-v4.1
• ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
• DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS 库名称: transformers 标签:
• 合并工具包
• 合并模型
• 12B参数
• 对话
• 角色扮演
• 创意写作
• DELLA线性合并 许可证: apache-2.0

天使猎手-12B-Unslop-Mell-RPMax-DARKNESS-v3

传说"他"将带来末日。她寻求理解，而非毁灭。

这是使用mergekit工具合并预训练语言模型的产物。

本次更像是v2b版本，因收到反馈称输出内容平淡。我认同此观点，故调整了参数设置。虽然我很欣赏这些基础模型本身，但在v2版本中我将参数调得过低，未能充分展现更具创意模型的"特色"。若您对本模型体验不佳，建议与v2版本进行对比。本模型并非绝对更优，只是提供另一种选择。目前尚未测试，因我正在开发更有趣的新合并模型。

第九号作品。

合并详情

合并方法

本模型采用线性DELLA合并法，以TheDrummer/UnslopNemo-12B-v4作为基础模型。

参与合并的模型

合并包含以下模型：

• DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
• ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
• inflatebot/MN-12B-Mag-Mell-R1

配置参数

生成本模型使用的YAML配置如下：

models:
  - model: ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
    parameters:
      weight:
        - filter: self_attn
          value: 0.35
        - filter: mlp
          value: 0.2
        - value: 0.25
      density: 0.65
  - model: TheDrummer/UnslopNemo-12B-v4
    parameters:
      weight:
        - filter: self_attn
          value: 0.3
        - filter: mlp
          value: 0.15
        - value: 0.2
      density: 0.6
  - model: inflatebot/MN-12B-Mag-Mell-R1
    parameters:
      weight:
        - filter: self_attn
          value: 0.2
        - filter: mlp
          value: 0.35
        - value: 0.3
      density: 0.75
  - model: DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
    parameters:
      weight:
        - filter: mlp
          value: 0.35
        - value: 0.25
      density: 0.7
base_model: TheDrummer/UnslopNemo-12B-v4
merge_method: della_linear
dtype: bfloat16
chat_template: "chatml"
tokenizer_source: union
parameters:
  normalize: true
  int8_mask: true
  epsilon: 0.05
  lambda: 1