库名称：transformers 标签：

• mergekit
• 合并 许可证：apache-2.0

信息

详情

我真的很努力想改进我的ChatML合并模型，但结果却一塌糊涂。大家都在用不同ID添加特殊标记，连个统一的tokenizer都做不出来，真是见鬼。更别提我还发现了一些关于某些模型上下文长度的...有趣现象。你可以在这里看整个过程的分析：https://www.captiongenerator.com/v/2303039/marinaraspaghetti's-merging-experience。

这次尝试感觉和之前不太一样，在高上下文场景下更不容易出现重复，这对我来说太棒了！我可能还会继续改进，但目前感觉相当不错。特别适合角色扮演和故事创作。所有功劳和感谢都归于杰出的MistralAI、Intervitens、Sao10K和Nbeerbower团队开发的优秀模型！另外特别感谢Parasitic Rogue提供的创意，以及Prodeus Unity和Statuo为我之前合并模型制作的酷炫exl2量化版本。向Drummer服务器的小伙伴们问好！祝大家玩得开心。

指令格式

叹气，恐怕得用Mistral Instruct格式了。

更新：我们一直用错了格式，刚刚从MistralAI官方团队成员那里收到了正确格式。

...这让我开始怀疑自己知道的一切。

<s>[INST]{系统指令}[/INST]{响应}</s>[INST]{用户消息}[/INST]{响应}</s>

参数建议

推荐运行温度1.0-1.25，配合Top A 0.1或Min P 0.01-0.1，以及0.8/1.75/2/0 DRY。低于1.0的温度也适用。无需其他设置。

配置设置

可以使用我的精确设置（使用Mistral基础/自定义文件夹中的配置，也推荐查看Mistral改进文件夹）：https://huggingface.co/MarinaraSpaghetti/SillyTavern-Settings/tree/main。

GGUF版本

https://huggingface.co/bartowski/NemoMix-Unleashed-12B-GGUF

EXL2版本

https://huggingface.co/Statuo/NemoMix-Unleashed-EXL2-8bpw

NemoMix-Unleashed-12B

这是使用mergekit合并的预训练语言模型。

合并详情

合并方法

本模型采用della_linear合并方法，以E:\mergekit\mistralaiMistral-Nemo-Base-2407作为基础模型。

合并模型

合并包含以下模型：

• E:\mergekit\intervitens_mini-magnum-12b-v1.1
• E:\mergekit\nbeerbower_mistral-nemo-bophades-12B
• E:\mergekit\Sao10K_MN-12B-Lyra-v1
• E:\mergekit\nbeerbower_mistral-nemo-gutenberg-12B
• E:\mergekit\mistralaiMistral-Nemo-Instruct-2407

配置

生成本模型使用的YAML配置如下：

models:
  - model: E:\mergekit\mistralaiMistral-Nemo-Instruct-2407
    parameters:
      weight: 0.1
      density: 0.4
  - model: E:\mergekit\nbeerbower_mistral-nemo-bophades-12B
    parameters:
      weight: 0.12
      density: 0.5
  - model: E:\mergekit\nbeerbower_mistral-nemo-gutenberg-12B
    parameters:
      weight: 0.2
      density: 0.6
  - model: E:\mergekit\Sao10K_MN-12B-Lyra-v1
    parameters:
      weight: 0.25
      density: 0.7
  - model: E:\mergekit\intervitens_mini-magnum-12b-v1.1
    parameters:
      weight: 0.33
      density: 0.8
merge_method: della_linear
base_model: E:\mergekit\mistralaiMistral-Nemo-Base-2407
parameters:
  epsilon: 0.05
  lambda: 1
dtype: bfloat16
tokenizer_source: base

Ko-fi赞助

喜欢我的工作？欢迎在这里赞助支持，谢谢！

https://ko-fi.com/spicy_marinara