许可证：mit
基础模型：microsoft/phi-2
标签：

• alignment-handbook
• generated_from_trainer
• trl
• sft
• generated_from_trainer
  数据集：
• HuggingFaceH4/ultrachat_200k

模型索引：

• 名称：phi-2-sft-ultrachat-full
  结果：[]

phi-2-sft-ultrachat-full

本模型是基于microsoft/phi-2在HuggingFaceH4/ultrachat_200k数据集上微调的版本。
在评估集上达到以下结果：

• 损失值：1.1928

模型描述

（需补充更多信息）

预期用途与限制

（需补充更多信息）

训练与评估数据

（需补充更多信息）

训练流程

训练超参数

训练过程中使用的超参数如下：

• 学习率：2e-05
• 训练批次大小：4
• 评估批次大小：4
• 随机种子：42
• 分布式类型：多GPU
• 设备数量：4
• 梯度累积步数：4
• 总训练批次大小：64
• 总评估批次大小：16
• 优化器：Adam（beta1=0.9，beta2=0.999，epsilon=1e-08）
• 学习率调度器类型：余弦退火
• 学习率预热比例：0.1
• 训练轮次：3

训练结果

框架版本

• Transformers 4.36.2
• PyTorch 2.1.2+cu118
• Datasets 2.14.6
• Tokenizers 0.15.2