axolotl版本：0.4.1

基础模型：Qwen/Qwen2.5-7B  
模型类型：AutoModelForCausalLM  
分词器类型：AutoTokenizer  

8位加载：false  
4位加载：false  
严格模式：false  

数据集：  
  - 路径：PocketDoc/Dans-MemoryCore-CoreCurriculum-Small  
    类型：sharegpt  
    对话：chatml  
  - 路径：NewEden/Kalo-Opus-Instruct-22k-Refusal-Murdered  
    类型：sharegpt  
    对话：chatml  
  - 路径：Epiculous/Synthstruct-Gens-v1.1-Filtered-n-Cleaned  
    类型：sharegpt  
    对话：chatml  
  - 路径：NewEden/Gryphe-Sonnet-3.5-35k-Subset  
    类型：sharegpt  
    对话：chatml  
  - 路径：Nitral-AI/Reasoning-1shot_ShareGPT  
    类型：sharegpt  
    对话：chatml  
  - 路径：Nitral-AI/GU_Instruct-ShareGPT  
    类型：sharegpt  
    对话：chatml  
  - 路径：Nitral-AI/Medical_Instruct-ShareGPT  
    类型：sharegpt  
    对话：chatml  
  - 路径：AquaV/Resistance-Sharegpt  
    类型：sharegpt  
    对话：chatml  
  - 路径：AquaV/US-Army-Survival-Sharegpt  
    类型：sharegpt  
    对话：chatml  
  - 路径：Gryphe/Sonnet3.5-SlimOrcaDedupCleaned  
    类型：sharegpt  
    对话：chatml  

对话模板：chatml  

验证集比例：0.002  
输出目录：./outputs/out  

适配器：  
lora_r：  
lora_alpha：  
lora_dropout：  
lora_target_linear：  

序列长度：8192  
样本打包：true  
评估样本打包：false  
填充至序列长度：true  

插件：  
  - axolotl.integrations.liger.LigerPlugin  
liger_rope：true  
liger_rms_norm：true  
liger_swiglu：true  
liger_fused_linear_cross_entropy：true  

wandb项目：qwen7B  
wandb实体：  
wandb监控：  
wandb名称：qwen7B  
wandb记录模型：  

梯度累积步数：32  
微批次大小：1  
训练轮数：2  
优化器：adamw_bnb_8bit  
学习率调度器：cosine  
学习率：0.00001  
权重衰减：0.05  

训练输入：false  
按长度分组：false  
bf16：auto  
fp16：  
tf32：true  

梯度检查点：true  
早停耐心：  
从检查点恢复：  
本地排名：  
日志步数：1  
xformers注意力：  
闪存注意力：true  

预热比例：0.1  
每轮评估次数：4  
评估表大小：  
评估最大新标记数：128  
每轮保存次数：2  

调试：  
deepspeed：  
fsdp：  
fsdp配置：  

特殊标记：  
  填充标记：<pad>