基础模型:

• allura-org/Gemma-3-Glitter-12B
• ToastyPigeon/Gemma-3-Confetti-12B
• google/gemma-3-12b-it
• google/gemma-3-12b-pt 库名称: transformers 标签:
• mergekit
• 合并

🌠G3星光12B🌠

这是测试集中的合并版本A/A1。

一个基于Gemma 3 12B IT和Gemma 3 12B PT微调合并的创意写作模型。

这是故事导向的合并版本。此版本更适合讲故事和场景描述，其文风更接近小说风格，并倾向于模仿用户角色。

也可查看角色扮演导向的替代版本。

这是两个G3模型的合并结果，一个基于指令训练，一个基于基础训练：

• allura-org/Gemma-3-Glitter-12B - 本身是故事写作和角色扮演训练的合并（均由ToastyPigeon完成），基于指令训练
• ToastyPigeon/Gemma-3-Confetti-12B - 使用基础模型而非指令模型对Glitter数据的实验性应用，额外包含了一些来自SpringDragon的冒险数据。

最终成果完美融合了Glitter的指令遵循能力和Confetti的自由文风，有效"解放"了Glitter中残留的大部分犹豫感。

更新：视觉塔功能回归！尽情享受吧。

感谢jebcarter提出这个创意。我对最终效果非常满意！

指令格式

使用Gemma2/3的指令格式，但已训练识别可选的系统角色。

注：虽然不会立即拒绝系统角色，但不用系统角色可能效果更佳。

<start_of_turn>system
{可选的系统提示}<end_of_turn>
<start_of_turn>user
{用户消息；也可在此处放置系统提示以使用内置的g3训练}<end_of_turn>
<start_of_turn>model
{模型响应}<end_of_turn>

合并配置

是的，我确实尝试了多种方法，令人惊讶的是这个效果最好。

models:
  - model: ToastyPigeon/Gemma-3-Confetti-12B
    parameters:
      weight: 0.5
  - model: allura-org/Gemma-3-Glitter-12B
    parameters:
      weight: 0.5
merge_method: linear
tokenizer_source: allura-org/Gemma-3-Glitter-12B