axolotl版本：0.10.0.dev0

基础模型：Dans-DiscountModels/Mistral-Small-3.1-24B-Base-2503-hf-DanChat  
模型类型：AutoModelForCausalLM  
分词器类型：AutoTokenizer  

远程代码信任：  

# wandb配置  
wandb项目：24b-ms-dans-personality-engine  
wandb监控：  

wandb运行ID：V1.3.0-1-5 # V{版本}-{运行序号}-{尝试次数}  
wandb记录模型：  

# 推送检查点到中心  
中心模型ID：Dans-DiscountModels/24b-ms-dans-personality-engine-v1.3.0-TestArticle-1  
# 推送检查点到中心的策略  
# 参考链接：https://huggingface.co/docs/transformers/v4.31.0/en/main_classes/trainer#transformers.TrainingArguments.hub_strategy  
推送策略："every_save"  
# 是否使用hf的`use_auth_token`加载数据集，适用于获取私有数据集  
# 与`push_dataset_to_hub`联用时必须设为true  
hf使用认证令牌：true  

# 模型输出目录  
输出目录：./24b-ms-dans-personality-engine  

保存为安全张量：true  

数据集：  
  - 路径：Dans-DiscountModels/pretokenization-test-6  
    数据集类型：parquet  
    类型：  

插件：  
  - axolotl.integrations.liger.LigerPlugin  
  - axolotl.integrations.cut_cross_entropy.CutCrossEntropyPlugin  
liger_rope：true  
liger_rms_norm：true  
liger_layer_norm：true  
liger_glu_activation：true  
liger_fused_linear_cross_entropy：false  
cut_cross_entropy：true  

8位加载：false  
4位加载：false  
严格模式：false  

适配器：  
lora模型目录：  

预处理数据集路径：./24b-ms-dans-personality-engine  
验证集比例：0.0  

序列长度：33000  

样本打包：true  
评估样本打包：true  

填充至序列长度：true  

梯度检查点：true  

梯度累积步数：4  
微批次大小：1  

训练轮数：2  

优化器：ademamix_8bit  
优化参数："beta1=0.9,beta2=0.999,beta3=0.999,alpha=5"  

学习率调度器：rex  
学习率：0.000001  
余弦最小学习率比例：  

最大梯度范数：0.001  

训练输入：false  
按长度分组：false  

bf16：true  
fp16：false  
tf32：false  

早停耐心：  

从检查点恢复：  
自动恢复检查点：false  

本地排名：  
日志步长：1  
xformers注意力：  
闪存注意力：true  

预热比例：0.1  

每轮评估次数：24  
评估表大小：  
评估最大新标记数：  

每轮保存次数：4  
保存总数限制：1  

调试：false  

深度速度：deepspeed_configs/zero3_bf16.json  

fsdp：  
fsdp配置：  

特殊标记：