{}

奖励模型概述

该奖励模型基于基础模型mistralai/Mistral-7B-Instruct-v0.2训练而成。

训练脚本详见GitHub仓库：https://github.com/WeiXiongUST/RLHF-Reward-Modeling

训练细节（数据混合比例、参数等）可参阅技术博客：https://www.notion.so/Reward-Modeling-for-RLHF-abe03f9afdac42b9a5bee746844518d0

模型详情

如有关于本奖励模型或奖励建模的任何问题，欢迎通过wx13@illinois.edu邮箱联系，我将很高兴与您交流！

数据集预处理

模型训练数据融合了以下数据集，混合数据集已发布于weqweasdas/preference_dataset_mixture2_and_safe_pku：

• HH-RLHF
• SHP
• UltraFeedback
• Capybara
• HelpSteer
• Orca

与原数据集的差异说明：

• HH-RLHF：仅使用有帮助性子集，剔除chosen_response与rejected_response相同的噪声样本；
• SHP：仅保留评分比>2的样本，每个提示最多取5组对比，最终保留109526组；
• UltraFeedback：参照UltraFeedback-Binarized方法，使用细粒度分数（非综合分）排序。每个提示保留所有可能的6组对比，剔除分数相同的组合，最终保留267416组；
• HelpSteer：以帮助性和正确性的平均分排序。每个提示保留所有可能的6组对比，剔除分数相同的组合，最终保留21576组；

训练参数

采用余弦学习率衰减策略（预热比例0.03），批量大小512，学习率5e-6，训练1个epoch。

使用示例

  from transformers import AutoTokenizer, pipeline
  rm_tokenizer = AutoTokenizer.from_pretrained("weqweasdas/RM-Mistral-7B")
  device = 0 # 加速器设备
  rm_pipe = pipeline(
      "sentiment-analysis",
      model="weqweasdas/RM-Mistral-7B",
      #device="auto",
      device=device,
      tokenizer=rm_tokenizer,
      model_kwargs={"torch_dtype": torch.bfloat16}
  )

  pipe_kwargs = {
      "return_all_scores": True,
      "function_to_apply": "none",
      "batch_size": 1
  }

  chat = [
   {"role": "user", "content": "你好，最近怎么样？"},
   {"role": "assistant", "content": "我很好。今天能为您做些什么？"},
   {"role": "user", "content": "我想展示聊天模板的工作原理！"},
  ]

  test_texts = [tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=False).replace(tokenizer.bos_token, "")]
  pipe_outputs = rm_pipe(test_texts, **pipe_kwargs)
  rewards = [output[0]["score"] for output in pipe_outputs]

性能表现

本模型在RewardBench排行榜位列第二

参考文献

本仓库工作属于迭代拒绝采样微调与迭代DPO研究范畴。若您认为该研究对您的工作有所助益，请参考以下引用格式：

@article{dong2023raft,
  title={Raft: Reward ranked finetuning for generative foundation model alignment},
  author={Dong, Hanze and Xiong, Wei and Goyal, Deepanshu and Pan, Rui and Diao, Shizhe and Zhang, Jipeng and Shum, Kashun and Zhang, Tong},
  journal={arXiv preprint arXiv:2304.06767},
  year={2023}
}

@misc{xiong2024iterative,
      title={Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint}, 
      author={Wei Xiong and Hanze Dong and Chenlu Ye and Ziqi Wang and Han Zhong and Heng Ji and Nan Jiang and Tong Zhang},
      year={2024},
      eprint={2312.11456},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}