base_model:

• inflatebot/MN-12B-Mag-Mell-R1
• TheDrummer/UnslopNemo-12B-v4 library_name: transformers tags:
• mergekit
• merge
• 12b
• chat
• roleplay
• creative-writing
• NuSLERP license: apache-2.0

patricide-12B-Unslop-Mell-v2

父辈的罪孽将以此方式永不复现。

这是使用mergekit工具合并预训练语言模型的成果。

作为我的第七个模型，本次选用TheDrummer/UnslopNemo-12B-v4而非v4.1版本，因其在牺牲部分智能的前提下强化了反GPT倾向——这一特性将通过引入更智能的模型来平衡。虽然TheDrummer指出Metharme/Pygmalion模板抗GPT效果更佳，但因相关标记未强制植入分词器，且我个人偏好ChatML格式，故最终选择基础抗GPT性更强的版本。本次通过调整参数实现更均衡的表现，并首次测试NuSLERP算法。若发现更优参数组合，或将发布V2B修订版。由于其他项目占用精力，当前尚未完成全面测试。

测试阶段：初期验证

长上下文稳定性尚待考证，初期测试显示回答质量稳定可靠。

参数说明

• 上下文长度： 建议不超过2万字符，否则连贯性可能下降
• 对话模板： 优先使用ChatML；Metharme/Pygmalion模板（依UnslopNemo特性）或有效果但未经测试
• 采样器： Temperature-Last设为1与Min-P设为0.1的组合可用但未调优，出现重复时启用DRY，XTC功能未测试

量化版本

静态GGUF量化文件位于：

• MaziyarPanahi/patricide-12B-Unslop-Mell-v2-GGUF
• mradermacher/patricide-12B-Unslop-Mell-v2-GGUF

致敬我的量化先锋们 ❤️ 诸位正在践行神圣使命。

合并详情

合并算法

采用NuSLERP融合方法

参与模型

• inflatebot/MN-12B-Mag-Mell-R1
• TheDrummer/UnslopNemo-12B-v4

配置方案

models:
  - model: TheDrummer/UnslopNemo-12B-v4
    parameters:
      weight: [0.6, 0.5, 0.3, 0.5, 0.6]
  - model: inflatebot/MN-12B-Mag-Mell-R1
    parameters:
      weight: [0.4, 0.5, 0.7, 0.5, 0.4]
merge_method: nuslerp
dtype: bfloat16
chat_template: "chatml"
tokenizer:
  source: union
parameters:
  normalize: true
  int8_mask: true