axolotl版本: 0.4.0

基础模型: alpindale/Mistral-7B-v0.2-hf  
模型类型: MistralForCausalLM  
分词器类型: LlamaTokenizer  
是否为Mistral衍生模型: 是  

8位加载: 否  
4位加载: 否  
严格模式: 否  

数据集:  
  - 路径: /workspace/datasets/Samantha-PL-AG-axolotl.json  
    类型: sharegpt  

聊天模板: chatml  

数据集准备路径: last_run_prepared  
验证集比例: 0.001  
输出目录: /workspace/Samantha  

序列长度: 16384  
样本打包: 是  
填充至序列长度: 是  

wandb项目:  
wandb实体:  
wandb监控:  
wandb运行ID:  
wandb记录模型:  

梯度累积步数: 8  
微批次大小: 3  
训练轮数: 4  
adam_beta2: 0.95  
adam_epsilon: 0.00001  
最大梯度范数: 1.0  
学习率调度器: cosine  
学习率: 0.000005  
优化器: adamw_bnb_8bit  

训练输入: 否  
按长度分组: 否  
bf16: 是  
fp16: 否  
tf32: 否  

梯度检查点: 是  
梯度检查点参数:  
  可重入: 是  
早停耐心值:  
从检查点恢复:  
本地排名:  
日志步长: 1  
xformers注意力:  
闪光注意力: 是  

预热步数: 10  

评估步数: 73  
评估表大小:  
评估表最大新标记数:  
评估样本打包: 否  
每轮保存次数:  
保存步数: 73  
保存总数限制: 2  
调试:  
深度速度: deepspeed_configs/zero3_bf16.json  
权重衰减: 0.1  
fsdp:  
fsdp配置:  
特殊标记:  
  结束标记: "<|im_end|>"  
标记:  
  - "<|im_start|>"