基础模型: google/gemma-2-9b-it
库名称: transformers
数据集:

• wzhouad/gemma-2-ultrafeedback-hybrid
  标签:
• alignment-handbook
• gemma

我们提出了一种新颖的策略，通过利用离线策略偏好数据模拟在线策略学习，从而增强离线策略偏好优化。我们的加权偏好优化（WPO）方法通过根据当前策略下的概率重新加权偏好对，使离线数据更接近在线数据。这种方法不仅解决了分布差距问题，还在不增加额外成本的情况下优化了训练过程。详情请参阅我们的预印本和代码库。

模型描述

数据

gemma-2-9b-it通过混合WPO微调，使用了两种类型的数据：

1. 基于Ultrafeedback提示的在线采样gemma输出。
2. 基于Ultrafeedback提示的GPT-4-turbo输出。

与论文中的偏好数据构建方法相比，我们改用RLHFlow/ArmoRM-Llama3-8B-v0.1对输出进行评分，并选择得分最高/最低的输出形成偏好对。

我们的训练数据可在wzhouad/gemma-2-ultrafeedback-hybrid获取。

AlpacaEval评估结果

其他WPO模型链接

查看我们的WPO模型集。

训练超参数

训练时使用的超参数如下：

• 学习率: 1e-06
• beta: 0.01
• 每设备训练批次大小: 1
• 梯度累积步数: 16
• 随机种子: 1
• 设备数量: 8
• 优化器: adamw_torch
• 学习率调度器类型: cosine
• 学习率调度器预热比例: 0.1
• 训练轮数: 2.0
• 最大长度: 2048
• 最大提示长度: 1800

许可

本模型采用Zoom软件许可协议，仅允许用于非商业、教育或学术研究用途。

引用

WPO:

@article{zhou2024wpo,  
  title={WPO: Enhancing RLHF with Weighted Preference Optimization},  
  author={Zhou, Wenxuan and Agrawal, Ravi and Zhang, Shujian and Indurthi, Sathish Reddy and Zhao, Sanqiang and Song, Kaiqiang and Xu, Silei and Zhu, Chenguang},  
  journal={arXiv preprint arXiv:2406.11827},  
  year={2024}  
}  

Ultrafeedback:

@article{cui2023ultrafeedback,  
  title={{UltraFeedback}: Boosting language models with high-quality feedback},  
  author={Cui, Ganqu and Yuan, Lifan and Ding, Ning and Yao, Guanming and Zhu, Wei and Ni, Yuan and Xie, Guotong and Liu, Zhiyuan and Sun, Maosong},  
  journal={arXiv preprint arXiv:2310.01377},  
  year={2023}  
}  

Armo-RM:

@article{ArmoRM,  
      title={Interpretable Preferences via Multi-Objective Reward Modeling and Mixture-of-Experts},   
      author={Haoxiang Wang and Wei Xiong and Tengyang Xie and Han Zhao and Tong Zhang},  
      journal={arXiv preprint arXiv:2406.12845},  
}  

@inproceedings{wang2024arithmetic,  
      title={Arithmetic Control of LLMs for Diverse User Preferences: Directional Preference Alignment with Multi-Objective Rewards},   
      author={Haoxiang Wang and Yong Lin and Wei Xiong and Rui Yang and Shizhe Diao and Shuang Qiu and Han Zhao and Tong Zhang},  
      year={2024},  
      booktitle={ACL},  
}