基础模型:

• allura-org/Gemma-3-Glitter-12B
• ToastyPigeon/Gemma-3-Confetti-12B
• google/gemma-3-12b-it
• google/gemma-3-12b-pt 库名称: transformers 标签:
• mergekit
• 合并

🌠G3星光12B - 替代版🌠

这是测试集中的合并方案A2。

基于Gemma 3 12B IT和Gemma 3 12B PT微调合并的创意写作模型。

这是角色扮演优化版本。该版本在回合制对话中能更好地区分不同角色，减少身份混淆现象。

另请参见主分支的故事创作优化版。

本模型融合了两个G3版本：

• allura-org/Gemma-3-Glitter-12B - 由ToastyPigeon开发的指令微调版本，整合了故事写作和角色扮演训练数据
• ToastyPigeon/Gemma-3-Confetti-12B - 基于基础模型的实验版本，融合了Glitter数据集及SpringDragon的冒险数据

最终成果完美结合了Glitter的指令遵循能力和Confetti的自由创作风格，有效缓解了Glitter版本原有的拘谨特质。

若配合GGUF格式及相应mmproj文件，可实现视觉功能（当前模型视觉能力与其他同类模型相当）。未来计划修复视觉模块缺失问题，实现完整的多模态支持。

特别感谢jebcarter的创意灵感，成果令人欣喜！

指令格式

沿用Gemma2/3的指令格式，但已训练支持可选系统角色。

注：虽然系统角色不会导致错误，但省略时效果可能更佳。

<start_of_turn>system
{可选系统提示}<end_of_turn>
<start_of_turn>user
{用户消息；也可在此处使用内置g3训练的系统提示}<end_of_turn>
<start_of_turn>model
{模型响应}<end_of_turn>

合并配置

较高比例的Glitter成分使该版本在回合制指令遵循上表现更优，但相比故事创作版可能略显拘谨。

模型:
  - 模型: ToastyPigeon/Gemma-3-Confetti-12B
    参数:
      权重: 0.3
  - 模型: allura-org/Gemma-3-Glitter-12B
    参数:
      权重: 0.7
合并方法: linear
分词器源: allura-org/Gemma-3-Glitter-12B