基础模型:

• nothingiisreal/MN-12B-Starcannon-v3
• MarinaraSpaghetti/NemoMix-Unleashed-12B 库名称: transformers 标签:
• mergekit
• 合并 许可证: cc-by-nc-4.0

Starcannon-Unleashed-12B-v1.0-GGUF

量化版本

GGUF格式:
VongolaChouko/Starcannon-Unleashed-12B-v1.0-GGUF
mradermacher/Starcannon-Unleashed-12B-v1.0-GGUF
bartowski/Starcannon-Unleashed-12B-v1.0-GGUF

特别感谢mradermacher!! ( ´•̥̥̥o•̥̥̥`)♡(˘̩̩̩̩̩̩ ⌂ ˘̩̩̩̩̩̩) 天哪，这家伙速度太快了，我都惊呆了！XD，还有大神bartowski！感谢他们提供的GGUF量化版本。

EXL2格式:
8bpw
6bpw
4bpw

同时感谢Statuo提供的EXL2量化版本！(✿◕ᗜ◕)♡

由于电脑性能限制，我只能测试最多24576上下文的Q6_K版本，所以请告诉我你们的测试结果。希望它在更高上下文下也能表现良好！

推荐设置在这里：设置

示例输出

介绍

警告：长篇大论预警。如果想跳过无聊部分，请继续往下滚动 ʱªʱªʱª(ᕑᗢूᓫ∗)

哦，伙计，我们来了！非常高兴与大家分享我无数次撞墙后的成果！*:･ﾟ✧(=ఠ్ఠܫఠ్ఠ =)∫

首先，我想声明一下。这是我第一次尝试合并模型，而且我完全不是编码专家。真的。我觉得大概70%的时间我都不明白自己在看什么...呃，就是这样！合并代码执行后，我对这个模型进行了严格的测试，到目前为止我很喜欢结果。老实说，我原本以为合并会彻底失败，变得完全语无伦次，但谢天谢地没有！两天没睡好觉也值了 ◝(˃̣̣̥▽˂̣̣̥)/

我的目标是希望能创造出结合每个微调/合并模型优点的东西，让一个模型能弥补另一个的弱点。

我是Starcannon v3的超级粉丝，因为它回答问题时非常符合角色性格。感觉就是不一样。就像模型本身就是那个角色，而不是在"扮演"角色。所以当它开始退化时总是感觉很悲伤，就像看着心爱的角色死去一样。无论我怎么调整上下文，它都无法在16K上下文中保持连贯。另一方面，我喜欢NemoMix Unleashed，因为它在更长的上下文中表现出色，而且即使没有提示也能推动故事发展。即使超过我设置的上下文大小，它也能保持连贯和稳定，这感觉很好。我还发现它理解言外之意的能力很棒。所以我想，为什么不把两者结合起来，取长补短呢？

如果可能的话，我真的很想再做一次，因为有太多次我发现一个模型中有我喜欢的东西，然后又发现另一个模型中也有，就非常希望它们能结合在一起！XD

所以请告诉我，作为我的第一次尝试，它的表现如何！

除了合并，我还想学习如何微调模型，但我觉得我的电脑可能承受不了。做这个合并时，我的电脑都快崩溃了，SSD也在哀嚎，所以也许等我有空闲时间和更多资源时再尝试吧。

就这样，经过数小时的研究、教程、向社区提问（没人回答 (´;︵;`)）和编码地狱后，我终于成功合并了我最喜欢的模型。我们来了！

°˖✧这一切绝对值得！✧˖°

指令

ChatML和Mistral格式应该都能正常工作。我个人测试时使用的是ChatML。我发现用这种格式时，模型的回答更符合我的喜好。试试看，看看你更喜欢哪种。:D

设置

我推荐使用这些设置： Starcannon-Unleashed-12B-v1.0-ST-Formatting-2024-10-29.json

重要提示：打开Silly Tavern，使用"A"标签下的"Master Import"功能——在"高级格式化"下。将"INSERT WORLD HERE"占位符替换为你的角色所属的世界/宇宙。如果不适用，直接删除这部分。

检查你的用户设置，将"示例消息行为"设置为"从不包含示例"，以防止对话示例在上下文中被发送两次。有人报告说如果不这样设置，会导致输出<|im_end|>标记。更多信息请参考这个帖子。

温度1.15 - 1.25效果不错，但低一些也可以，只要同时调整Min P和XTC确保模型不会卡住。多试试，找到适合你的设置。

这是MarinaraSpaghetti的Mistral-Small-Correct.json的修改版，转换成了ChatML格式。

原始版本在这里：MarinaraSpaghetti/SillyTavern-Settings

小贴士

• 对话示例和第一条消息非常重要。模型会模仿你在这些部分写的风格。所以，如果你想要简短的输出，就让对话示例和第一条消息简短；如果你想要更长的输出，确保你的示例包含完整的段落，由多个句子组成。
• 如果你的对话示例和第一条消息已经很简短了，但模型还是啰嗦，可以小幅降低温度，但先保持Min P和XTC不变。测试结果后根据喜好调整。如果还是啰嗦，就提高XTC阈值。
• 如果你想增强指令对下一个回答的影响，可以在聊天中使用"作者备注@深度2"作为系统提示。如果你想要一些刺激和自发的互动，可以试试我在测试模型时用的这个备注："场景：自发。{{char}}有完全自主权，可以按他们希望的任何方式推进互动。"

致谢

非常感谢MarinaraSpaghetti和Nothing is Real！！(灬^ω^灬)ノ～ ♡ (´｡• ᵕ •｡`) ♡ 我真的很喜欢你们的模型，这激励我学习如何制作这个模型，天哪，这太值得了！°˖✧◝(TT▿TT)◜✧˖°

合并详情

这是使用mergekit合并预训练语言模型的结果。

合并方法

本模型使用della_linear合并方法，以G:\text-generation-webui\models\MarinaraSpaghetti_NemoMix-Unleashed-12B为基础模型。

合并的模型

合并中包含以下模型：

• G:\text-generation-webui\models\Nothingiisreal_MN-12B-Starcannon-v3

配置

生成此模型使用的YAML配置如下：

base_model: G:\text-generation-webui\models\MarinaraSpaghetti_NemoMix-Unleashed-12B
dtype: bfloat16
merge_method: della_linear
parameters:
  epsilon: 0.05
  int8_mask: 1.0
  lambda: 1.0
slices:
- sources:
  - layer_range: [0, 40]
    model: G:\text-generation-webui\models\MarinaraSpaghetti_NemoMix-Unleashed-12B
    parameters:
      density: 0.65
      weight: 0.4
  - layer_range: [0, 40]
    model: G:\text-generation-webui\models\Nothingiisreal_MN-12B-Starcannon-v3
    parameters:
      density: 0.55
      weight: 0.6