基础模型:

• deepseek-ai/DeepSeek-R1-Distill-Qwen-14B 语言:
• 英语 许可证: MIT 任务标签: 文本排序 库名称: transformers

🚀 能否将奖励建模转化为推理任务？

RM-R1 是一个用于推理奖励模型（ReasRM）的训练框架，该模型通过先出声思考——生成评分标准或推理轨迹——然后表达其偏好来评判两个候选答案。
与之前的标量或普通生成式奖励模型相比，RM-R1在公共奖励模型基准测试中实现了高达**+13.8%的绝对准确率提升**，同时提供完全可解释的评判。

一句话总结

• 两阶段训练

  1. 蒸馏约8.7K条高质量推理轨迹（评分标准链）。
  2. 在约64K偏好对上使用可验证奖励的强化学习（RLVR）。

• 发布的主干模型: 7B / 14B / 32B Qwen-2.5-Instruct变体 + DeepSeek蒸馏检查点。

预期用途

• RLHF / RLAIF: 即插即用的奖励函数，用于策略优化。
• 自动评估: 作为开放域问答、聊天和推理的LLM评判员。
• 研究: 研究过程监督、思维链验证或评分标准生成。