license: other base_model: Qwen/Qwen2.5-Math-1.5B-Instruct pipeline_tag: text-classification

🤗 Hugging Face • 🤖 ModelScope

简介

我们很高兴宣布由昆仑万维Skywork团队开发的Skywork o1开放模型系列正式发布。这一突破性成果推出了一系列具备类o1慢思考推理能力的模型，包含三个先进模型：

• Skywork o1 Open-Llama-3.1-8B：基于Llama-3.1-8B训练的强大多轮对话模型，通过"o1风格"数据显著提升推理能力
• Skywork o1 Open-PRM-Qwen-2.5-1.5B：专为通过增量过程奖励增强推理能力设计的模型，适合小规模复杂问题求解
• Skywork o1 Open-PRM-Qwen-2.5-7B：在1.5B模型基础上扩展，可处理更高要求的推理任务

不同于对OpenAI o1模型的简单复现，Skywork o1开放模型系列不仅在输出中展现出与生俱来的思考、规划和反思能力，更在标准测试集上展现出显著的推理能力提升。该系列代表了AI能力的战略性进步，使原本较弱的基座模型在推理任务上达到前沿水平(SOTA)。

若对Skywork o1开放模型系列感兴趣，请查看o1-llama-3.1-8b模型。

模型信息

Skywork-o1-Open-PRM系列基于Qwen2.5-Math-1.5B-Instruct和Qwen2.5-Math-7B-Instruct训练。

PRM评估

评估设置

数学评估

我们采用Qwen2.5-Math的评估脚本并保持其配置一致性。选用的数据集包括GSM8K、MATH、GaoKao、CN-Middle School 24、OlympiadBench、AMC-23和AIME-24。其中GaoKao和CN-Middle School 24为中文数据集，其余为英文数据集。特别地，OlympiadBench、AIME-24和AMC-23为竞赛级数据集。

代码评估

代码评估采用Qwen2.5-Coder的评估脚本并基本保持相同配置。选用HumanEval、MBPP和LiveCodeBench数据集，其中LiveCodeBench特指2024.01-2024-11版本。由于早期版本存在测试和代码清理问题，我们使用最新版(0.3.1)evalplus。

评估基座模型

我们在三个基座模型上评估RM性能：Qwen2.5-7B-Instruct、Llama3.1-8B-Instruct和Skywork-o1-Open-8B。通过数据采样验证RM在不同模型上的表现，数学问题采样温度设为0.7，代码任务设为1.0。

对比RM

• Qwen2.5-Math-RM-72B：Qwen团队开源ORM
• OpenR-MATH-psa-PRM-7B：OpenR项目开源PRM
• RLHFlow-Deepseek-Data-PRM-8B：RLHFlow项目开源PRM

评估指标

• 贪婪采样Pass@1：使用贪婪采样生成答案
• 多数投票@64：随机采样64个答案
• Best-of-N@64：根据奖励模型(RM)输出值对64个答案排序。ORM与PRM的加权方式不同：
  • ORM仅使用最终步的奖励
  • PRM使用所有步骤的平均奖励加权

评估结果

数学评估

Skywork-o1-Open-8B

Qwen2.5-7B-Instruct