axolotl版本: 0.10.0.dev0

基础模型: THUDM/GLM-4-32B-Base-0414  
模型类型: AutoModelForCausalLM  
分词器类型: AutoTokenizer  

信任远程代码:  

# wandb配置  
wandb项目: 32b-glm4-dans-personality-engine  
wandb监控:  

wandb运行ID: V1.3.0-1-4 # V{版本}-{运行编号}-{尝试编号}  
wandb记录模型:  

# 将检查点推送到中心  
hub模型ID: Dans-DiscountModels/32b-glm4-dans-personality-engine-v1.3.0-TestArticle-1  
# 如何将检查点推送到中心  
# https://huggingface.co/docs/transformers/v4.31.0/en/main_classes/trainer#transformers.TrainingArguments.hub_strategy  
hub策略: "every_save"  
# 是否使用hf的`use_auth_token`加载数据集。适用于获取私有数据集  
# 与`push_dataset_to_hub`结合使用时必须为true  
hf_use_auth_token: true  

# 完成模型的保存位置  
输出目录: ./32b-glm4-dans-personality-engine  

保存安全张量: true  

数据集:  
  - 路径: Dans-DiscountModels/pretokenization-test-4  
    ds类型: parquet  
    类型:  

插件:  
  - axolotl.integrations.liger.LigerPlugin  
  - axolotl.integrations.cut_cross_entropy.CutCrossEntropyPlugin  
liger_rope: false  
liger_rms_norm: true  
liger_glu_activation: true  
liger_fused_linear_cross_entropy: false  
cut_cross_entropy: true  

8位加载: false  
4位加载: false  
严格模式: false  

数据集准备路径: ./32b-glm4-dans-personality-engine-data  
验证集大小: 0.003  

序列长度: 32768  

样本打包: true  
评估样本打包: true  

填充至序列长度: true  

梯度检查点: unsloth  

梯度累积步数: 4  
微批次大小: 1  

训练轮数: 2  

优化器: ademamix_8bit  
优化参数: "beta1=0.9,beta2=0.999,beta3=0.999,alpha=5"  

学习率调度器: rex  
学习率: 0.000008  
余弦最小学习率比例:  

权重衰减: 0  

最大梯度范数: 0.001  

训练输入: false  
按长度分组: false  

bf16: true  
fp16: false  
tf32: false  

早停耐心:  

从检查点恢复:  
自动从检查点恢复: false  

本地排名:  
日志步数: 1  
xformers注意力:  
闪光注意力: true  

预热比例: 0.1  

每轮评估次数: 24  
评估表大小:  
评估最大新标记数:  

每轮保存次数: 8  
保存总数限制: 1  

调试: false  

深度速度: /alloc/pocketdoc/axolotl/deepspeed_configs/zero3_bf16.json  

fsdp:  
fsdp配置:  

特殊标记: