基础模型:

• deepseek-ai/DeepSeek-R1-Distill-Qwen-32B 语言:
• 英语 许可证: mit 任务标签: 文本排序 库名称: transformers

🚀 能否将奖励建模转化为推理任务？

RM-R1 是一个用于推理奖励模型（ReasRM）的训练框架，该模型通过先大声思考——生成评分标准或推理轨迹——然后给出偏好判断来评估两个候选答案。
与之前的标量或普通生成奖励模型相比，RM-R1 在公开奖励模型基准上实现了高达**+13.8% 的绝对准确率提升**，同时提供完全可解释的评价。

摘要

• 两阶段训练

  1. 蒸馏约 8.7 K 条高质量推理轨迹（评分标准链）。
  2. 在约 64 K 偏好对上使用可验证奖励的强化学习（RLVR）。

• 发布的主干模型：7 B / 14 B / 32 B Qwen-2.5-Instruct 变体 + DeepSeek 蒸馏检查点。

预期用途

• RLHF / RLAIF：即插即用的奖励函数，用于策略优化。
• 自动评估：作为开放领域问答、聊天和推理的 LLM 评判员。
• 研究：研究过程监督、思维链验证或评分标准生成。

文件信息