base_model:

• Qwen/Qwen2.5-7B-Instruct language:
• en license: mit pipeline_tag: text-ranking library_name: transformers

🚀 能否将奖励建模转化为推理任务？

RM-R1 是一个用于推理奖励模型（ReasRM）的训练框架，该模型通过先出声思考——生成评分标准或推理轨迹——再输出偏好判断来评估两个候选答案。
相比先前的标量或普通生成式奖励模型，RM-R1在公开奖励模型基准上实现了高达13.8%的绝对准确率提升，同时提供完全可解释的评判依据。

一句话总结

• 两阶段训练

  1. 蒸馏约8.7K条高质量推理轨迹（评分标准链）
  2. 在约64K偏好对上实施可验证奖励的强化学习（RLVR）

• 发布骨干模型：7B/14B/32B Qwen-2.5-Instruct变体 + DeepSeek蒸馏检查点

适用场景

• RLHF/RLAIF：即插即用的策略优化奖励函数
• 自动化评估：作为开放域QA、对话和推理任务的LLM裁判
• 研究：探索过程监督、思维链验证或评分标准生成