🚀 Llama-3.1-8B-Instruct-RM-RB2模型卡片

Llama-3.1-8B-Instruct-RM-RB2是随Reward Bench 2发布的7组奖励模型（RMs）之一。我们总共发布了70个奖励模型检查点，用于开发该基准测试，并将其与下游的PPO / Best-of-N性能相关联。

模型 | 代码 | 评估数据集v2 | 结果v2 | 论文

🚀 快速开始

模型加载示例

要从特定版本加载模型，可以按以下方式修改代码：

from transformers import AutoModelForSequenceClassification
rm = AutoModelForSequenceClassification("allenai/Llama-3.1-8B-Instruct-RM-RB2", revision="2")

✨ 主要特性

• 该模型是HuggingFace生态系统中的标准分类器AutoModelForSequenceClassification，基于二元偏好数据进行训练。
• 对于此批次中的每个模型，主版本是从该基础模型中获得的最佳模型，其他训练数据和超参数组合包含在不同版本中，供进一步研究使用。

📚 详细文档

模型详情

该模型是一个标准的分类器，即HuggingFace生态系统中的AutoModelForSequenceClassification，在二元偏好数据上进行训练。对于此批次中的每个模型，主版本是我们为该基础模型获得的最佳模型，并且我们在不同版本中包含了所有其他训练数据和超参数组合，以供进一步研究。

不同版本的训练参数及评估结果

模型相关信息

📄 许可证

所有Llama 3.1 Tülu3模型均根据Meta的Llama 3.1社区许可协议发布。Llama 3.1根据Llama 3.1社区许可证授权，版权所有© Meta Platforms, Inc. Tülu3仅供研究和教育使用。有关更多信息，请参阅我们的负责任使用指南。

这些模型使用了包含第三方模型生成输出的数据集进行微调，并受其他附加条款约束：Gemma使用条款和Qwen许可协议（模型使用Qwen 2.5进行了改进）。

📚 引用信息

@misc{malik2025rewardbench2advancingreward,
      title={RewardBench 2: Advancing Reward Model Evaluation}, 
      author={Saumya Malik and Valentina Pyatkin and Sander Land and Jacob Morrison and Noah A. Smith and Hannaneh Hajishirzi and Nathan Lambert},
      year={2025},
      eprint={2506.01937},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2506.01937}, 
}

模型卡片联系人：saumyam at allenai dot org