axolotl版本：0.5.2

基础模型：meta-llama/Llama-3.3-70B-Instruct  
模型类型：AutoModelForCausalLM  
分词器类型：AutoTokenizer  

8位加载：false  
4位加载：false  
严格模式：false  
序列长度：16384  
bf16：auto  
fp16：  
tf32：false  
闪光注意力：true  

适配器：lora  
lora模型目录：  
lora_r：128  
lora_alpha：16  
lora_dropout：0.1  
lora_target_linear：true  
lora_fan_in_fan_out：  
peft_use_rslora：true  

# 数据  
数据集准备路径：last_run_prepared  
数据集：  
  - 路径：datasets/amoral-full-sys-prompt.json # 非对齐数据 - 从原始数据清理而来，单独拆分  
    类型：customllama3  
  - 路径：datasets/mimi-superfix-RP-filtered-fixed.json # RP/创意指令数据  
    类型：customllama3  
  - 路径：datasets/hespera-smartshuffle.json # Hesperus-v2-Instruct数据  
    类型：customllama3  
预热步数：15  

插件：  
  - axolotl.integrations.liger.LigerPlugin  
liger_rope：true  
liger_rms_norm：true  
liger_layer_norm：true  
liger_glu_activation：true  
liger_fused_linear_cross_entropy：true  

# 迭代  
训练轮数：1  

# 批处理  
梯度累积步数：4  
微批次大小：1  
梯度检查点："unsloth"  

# 优化器  
优化器：paged_ademamix_8bit  
学习率调度器：cosine  
学习率：0.000004  
权重衰减：0.1  
最大梯度范数：25.0  

# 迭代  
训练轮数：1  

# 其他  
深度速度：./deepspeed_configs/zero3_bf16.json