axolotl版本: 0.6.0

基础模型:  
- s1: Qwen/Qwen2.5-14B  
- s2: Qwen/Qwen2.5-14B-Instruct  
模型类型: AutoModelForCausalLM  
分词器类型: AutoTokenizer  

加载8位: false  
加载4位: false  
严格模式: false  
序列长度: 16384  
bf16: auto  
fp16:  
tf32: false  
闪光注意力: true  
特殊标记:  

适配器: lora # 16位  
lora_r:  
- s1: 64  
- s2: 32  
lora_alpha: 64  
lora_dropout: 0.2  
lora_fan_in_fan_out:  
peft_use_rslora: true  
lora_target_linear: true  

# 数据  
数据集准备路径: dataset_run_freya  
数据集:  
# S1 - 写作/补全  
  - 路径: datasets/eBooks-cleaned-75K  
    类型: completion  
  - 路径: datasets/novels-clean-dedupe-10K  
    类型: completion  
# S2 - 指令  
  - 路径: datasets/10k-amoral-full-fixed-sys.json  
    类型: chat_template  
    聊天模板: chatml  
    训练角色: ["gpt"]  
    消息字段: conversations  
    角色字段: from  
    内容字段: value  
    在EOS上训练: turn  
  - 路径: datasets/44k-hespera-smartshuffle.json  
    类型: chat_template  
    聊天模板: chatml  
    训练角色: ["gpt"]  
    消息字段: conversations  
    角色字段: from  
    内容字段: value  
    在EOS上训练: turn  
  - 路径: datasets/5k_rpg_adventure_instruct-sys.json  
    类型: chat_template  
    聊天模板: chatml  
    训练角色: ["gpt"]  
    消息字段: conversations  
    角色字段: from  
    内容字段: value  
    在EOS上训练: turn  
合并数据集时打乱: true  
预热比例: 0.1  

插件:  
  - axolotl.integrations.liger.LigerPlugin  
liger_rope: true  
liger_rms_norm: true  
liger_layer_norm: true  
liger_glu_activation: true  
liger_fused_linear_cross_entropy: true  

# 迭代  
训练轮数:  
- s1: 1  
- s2: 2  

# 采样  
样本打包: true  
填充至序列长度: true  
训练输入: false  
按长度分组: false  

# 批处理  
梯度累积步数: 4  
微批次大小: 2  
梯度检查点: unsloth  

# 评估  
验证集大小: 0.025  
每轮评估次数: 5  
评估表大小:  
评估最大新标记: 256  
评估样本打包: false  
评估批次大小: 1  

# 优化器  
优化器: paged_ademamix_8bit  
学习率调度器: cosine  
学习率:  
- s1: 0.000002  
- s2: 0.000004  
权重衰减: 0.2  
最大梯度范数: 10.0  

# 垃圾回收  
回收步数: 10  

# 其他  
深度速度: ./deepspeed_configs/zero2.json