axolotl版本：0.4.1

基础模型：arcee-ai/Llama-3.1-SuperNova-Lite  
模型类型：AutoModelForCausalLM  
分词器类型：AutoTokenizer  

8位加载：false  
4位加载：false  
严格模式：false  

数据集：  
  - 路径：NewEden/CharacterAI-logs-sharegpt-Ngram-Cleaned  
    类型：sharegpt  
    对话格式：llama3  
  - 路径：NewEden/OpenCAI-ShareGPT  
    类型：sharegpt  
    对话格式：llama3  

聊天模板：llama3  

  #验证集大小：0.01  
输出目录：./outputs  

适配器：  
LoRA_r：  
LoRA_alpha：  
LoRA_dropout：  
LoRA_target_linear：  

序列长度：16384  
# 序列长度：32768  
样本打包：true  
评估样本打包：false  
填充至序列长度：true  

WandB项目：CAI-Supernova  
WandB实体：  
WandB监控：  
WandB名称：CAI-Supernova-2  
WandB记录模型：  

插件：  
  - axolotl.integrations.liger.LigerPlugin  
liger_rope：true  
liger_rms_norm：true  
liger_swiglu：true  
liger_fused_linear_cross_entropy：true  

梯度累积步数：2  
微批次大小：1  
训练轮数：4  
优化器：paged_adamw_8bit  
学习率调度器：cosine  
学习率：1e-5  
权重衰减：0.05  

训练输入：false  
按长度分组：false  
bf16：auto  
fp16：  
tf32：true  

梯度检查点：unsloth  
早停耐心：  
从检查点恢复：  
#自动从检查点恢复：true  
本地排名：  
日志步数：1  
xformers注意力：  
闪存注意力：true  

预热步数：15  
  #每轮评估次数：4  
评估表大小：  
  #评估最大新标记数：128  
每轮保存次数：1  

调试：  
深度速度：/workspace/axolotl/deepspeed_configs/zero3_bf16_cpuoffload_params.json  
FSDP：  
FSDP配置：  

特殊标记：  
  填充标记：<|finetune_right_pad_id|>  
  结束标记：<|eot_id|>