🚀 Llama-3.1-70B-Instruct-RM-RB2模型卡片

Llama-3.1-70B-Instruct-RM-RB2是与Reward Bench 2一同发布的7组奖励模型（RMs）之一。我们共发布了70个奖励模型检查点，用于开发基准测试，并将其与下游的PPO / Best-of-N性能进行关联分析。

模型 | 代码 | 评估数据集v2 | 结果v2 | 论文

📚 详细文档

模型详情

该模型是一个标准的分类器，属于HuggingFace生态系统中的AutoModelForSequenceClassification，在二元偏好数据上进行训练。对于这一批次中的每个模型，主版本是我们针对该基础模型获得的最佳模型，我们将所有其他训练数据和超参数组合包含在其他版本中，以供进一步研究。

要从某个版本加载模型，请修改以下代码：

from transformers import AutoModelForSequenceClassification
rm = AutoModelForSequenceClassification("allenai/Llama-3.1-70B-Instruct-RM-RB2", revision="2")

• 开发者：艾伦人工智能研究所
• 训练代码：https://github.com/allenai/open-instruct
• 语言（NLP）：英语
• 许可证：Llama 3.1社区许可协议
• 微调基础模型：meta-llama/Llama-3.1-8B-Instruct

许可证

所有Llama 3.1 Tülu3模型均根据Meta的Llama 3.1社区许可协议发布。Llama 3.1根据Llama 3.1社区许可进行许可，版权所有 © Meta Platforms, Inc. Tülu3旨在用于研究和教育目的。如需更多信息，请参阅我们的负责任使用指南。

这些模型使用了包含第三方模型生成输出的数据集进行微调，并需遵守额外条款：Gemma使用条款和Qwen许可协议（模型使用Qwen 2.5进行了改进）。

引用

@misc{malik2025rewardbench2advancingreward,
      title={RewardBench 2: Advancing Reward Model Evaluation}, 
      author={Saumya Malik and Valentina Pyatkin and Sander Land and Jacob Morrison and Noah A. Smith and Hannaneh Hajishirzi and Nathan Lambert},
      year={2025},
      eprint={2506.01937},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2506.01937}, 
}

模型卡片联系人：saumyam at allenai dot org