license: apache-2.0 base_model:

• Qwen/Qwen2.5-Math-7B pipeline_tag: token-classification datasets:
• HuggingFaceH4/prm800k-trl-dedup

[!警告]

🚨 本仓库与Qwen的PRM不同。我们的PRM基于Qwen2.5-Math-7B训练，而Qwen的PRM基于Qwen2.5-Math-7B-Instruct。

基于Qwen2.5-Math-7B的PURE-PRM模型

简介

我们的PRM用于微调大语言模型以提升数学推理能力。 详情请参阅PURE GitHub仓库。该模型通过对开源数据集PRM800K训练集微调Qwen2.5-Math-7B获得。我们选择Qwen2.5-Math-7B而非Qwen2.5-Math-7B-Instruct是为了保持与基线模型的一致性。 我们将PRM800K中原始标签1和0视为正样本，-1视为负样本。为避免测试数据污染，我们还移除了与MATH测试集数学问题相同的PRM800K训练样本。

环境要求

• 需安装transformers>=4.40.0以支持Qwen2.5-Math系列模型，建议使用最新版本。

快速开始

[!重要]

PURE-PRM是一个过程奖励模型，主要用于评估推理过程和中间步骤的质量而非生成结果。

使用前提

• 步骤分隔：建议使用双换行符("\n\n")分隔解决方案中的各个步骤。
• 奖励计算：每个步骤后插入"\n"标记。计算奖励时，提取该标记的概率分数并减去负概率，得到-1到1之间的奖励值。奖励>0的步骤视为正确，否则为错误。

🤗 Hugging Face Transformers使用

1. 以下代码展示如何使用transformers调用PRM：

（代码部分保持原样，仅翻译注释）
# 此处展示transformers调用代码
# 模型加载与推理流程保持不变

2. 我们还提供了RLHFlow数据BoN评估代码：

（代码部分保持原样，仅翻译注释）
# 数据集加载与评估流程保持不变

引用

如果我们的工作对您有帮助，请引用：

@article{cheng2025stop,
  title={停止求和：过程奖励模型只需最小形式信用分配即可实现推理},
  author={程杰和乔瑞熙和李立军等},
  journal={arXiv预印本 arXiv:2504.15275},
  year={2025}
}