🚀 Llama-3-Instruct-8B-SPPO-Iter3

本模型基于 meta-llama/Meta-Llama-3-8B-Instruct 架构，采用 Self-Play Preference Optimization 方法在第三次迭代中开发而成。它使用了 openbmb/UltraFeedback 数据集中的提示集，并通过 snorkelai/Snorkel-Mistral-PairRM-DPO-Dataset 分割为 3 部分用于 3 次迭代。所有使用的回复均为合成数据。

🚀 快速开始

本模型可在 Hugging Face 平台上使用，你可以根据自己的需求进行调用和微调。

✨ 主要特性

• 基于先进的 Self-Play Preference Optimization 方法进行微调。
• 使用合成数据集进行训练，提升模型的泛化能力。
• 在多个评估基准上取得了优异的成绩。

📚 详细文档

模型描述

其他模型链接

• Llama-3-Instruct-8B-SPPO-Iter1
• Llama-3-Instruct-8B-SPPO-Iter2
• Llama-3-Instruct-8B-SPPO-Iter3

AlpacaEval 排行榜评估结果

Open LLM 排行榜评估结果

结果使用 lm-evaluation-harness v0.4.1 报告。

Open LLM 排行榜 2 评估结果

详细结果可查看 此处。

训练超参数

训练过程中使用了以下超参数：

• 学习率：5e-07
• eta：1000
• 每个设备的训练批次大小：8
• 梯度累积步数：1
• 随机种子：42
• 分布式类型：deepspeed_zero3
• 设备数量：8
• 优化器：RMSProp
• 学习率调度器类型：线性
• 学习率调度器热身比例：0.1
• 训练轮数：6.0（在第 1.0 轮停止）

🔧 技术细节

本模型基于 Self-Play Preference Optimization 方法进行微调，该方法通过自我博弈和偏好优化来提升模型的对齐能力。模型在合成数据集上进行训练，以提高其泛化能力。

📄 许可证

本模型采用 Apache-2.0 许可证。

引用

@misc{wu2024self,
      title={Self-Play Preference Optimization for Language Model Alignment}, 
      author={Wu, Yue and Sun, Zhiqing and Yuan, Huizhuo and Ji, Kaixuan and Yang, Yiming and Gu, Quanquan},
      year={2024},
      eprint={2405.00675},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}