library_name: transformers tags:

• 非全年龄段适用
• mergekit datasets:
• crestf411/LimaRP-DS
• Gryphe/Sonnet3.5-Charcard-Roleplay
• anthracite-org/c2_logs_32k_mistral-v3_v1.2_no_system
• anthracite-org/kalo-opus-instruct-22k-no-refusal-no-system
• anthracite-org/kalo-opus-instruct-3k-filtered-no-system
• anthracite-org/nopm_claude_writing_fixed base_model:
• mistralai/Mistral-Nemo-Instruct-2407

(GGUFs格式)

Slush是一个采用高LoRA丢弃率训练的双阶段模型。第一阶段为基础模型的预训练延续，旨在提升模型创造力和写作能力，随后与指令调优模型融合；第二阶段在此基础上进行微调，进一步增强角色扮演能力或修复第一阶段合并造成的损伤。

当前仍属早期阶段。一如既往欢迎反馈，但追求完美者请绕行。

与Sunfall系列相同，第二阶段遵循Silly Tavern预设（Mistral V2 & V3，V3-Tekken亦可），使用其他工具/预设时效果可能参差。

参数建议：

测试环境：温度1，min-p 0.1，DRY 0.8。

训练详情：

• 第一阶段（延续预训练）
  • 目标模型：mistralai/Mistral-Nemo-Base-2407（生成LoRA并入mistralai/Mistral-Nemo-Instruct-2407）
  • LoRA丢弃率0.5（理论依据）
  • LoRA秩64，alpha值128（理论依据）
  • 余弦学习率4e-6
  • 采用LoRA+，学习率比率15
  • 上下文长度16384
  • 梯度累积步数4
  • 训练轮次1
• 第二阶段（微调）
  • 目标模型：第一阶段产出模型
  • LoRA丢弃率0.5
  • LoRA秩32，alpha值64
  • 余弦学习率5e-6（下限5e-7）
  • 采用LoRA+，学习率比率15
  • 上下文长度16384
  • 梯度累积步数4
  • 训练轮次2

合并详情

合并方法

本模型采用TIES合并法，以mistralai/Mistral-Nemo-Base-2407为基底。

配置参数

合并使用的YAML配置如下：

models:
  - model: stage1-on-instruct
    parameters:
      weight: 1
      density: 1
  - model: stage2-on-stage1
    parameters:
      weight: 0.7
      density: 1
  - model: mistralai/Mistral-Nemo-Instruct-2407
    parameters:
      weight: 1
      density: 1
merge_method: ties
base_model: mistralai/Mistral-Nemo-Base-2407
parameters:
  weight: 1
  density: 1
  normalize: true
  int8_mask: true
tokenizer_source: mistralai/Mistral-Nemo-Instruct-2407
dtype: bfloat16