许可证：其他
基础模型：Qwen/Qwen2.5-Math-7B-Instruct
流水线标签：文本分类

🤗 Hugging Face • 🤖 ModelScope

简介

我们很高兴宣布由昆仑万维Skywork团队开发的Skywork o1开放模型系列正式发布。这一突破性成果推出了一系列具备类o1慢思考与推理能力的模型。Skywork o1开放模型系列包含三款先进模型：

• Skywork o1 Open-Llama-3.1-8B：基于Llama-3.1-8B训练的强大多轮对话模型，通过"o1风格"数据显著提升推理能力
• Skywork o1 Open-PRM-Qwen-2.5-1.5B：通过渐进式过程奖励增强推理能力的专项模型，适合小规模复杂问题求解
• Skywork o1 Open-PRM-Qwen-2.5-7B：在1.5B模型基础上扩展，处理更高要求的推理任务

不同于对OpenAI o1模型的简单复现，Skywork o1开放模型系列不仅在输出中展现出与生俱来的思考、规划和反思能力，更在标准测试集上实现了推理能力的显著提升。该系列代表了AI能力的战略性突破，将原本较弱的基座模型推向推理任务的尖端水平(SOTA)。

若对Skywork o1开放模型系列感兴趣，请查看o1-llama-3.1-8b模型。

模型信息

Skywork-o1-Open-PRM系列基于Qwen2.5-Math-1.5B-Instruct和Qwen2.5-Math-7B-Instruct训练。

PRM评估

评估设置

数学评估

采用Qwen2.5-Math的评估脚本并保持其配置。选用的数据集包括：

• GSM8K
• MATH
• GaoKao（中文）
• CN-Middle School 24（中文）
• OlympiadBench（竞赛级）
• AMC-23（竞赛级）
• AIME-24（竞赛级）

代码评估

采用Qwen2.5-Coder的评估脚本，主要配置保持一致。选用的数据集包括：

• HumanEval
• MBPP
• LiveCodeBench（使用2024.01-2024-11版本）
  使用最新版(0.3.1)evalplus工具。

评估基座模型

在三个基座模型上验证RM性能：

• Qwen2.5-7B-Instruct
• Llama3.1-8B-Instruct
• Skywork-o1-Open-8B
  数学问题采样温度设为0.7，代码任务设为1.0。

对比RM

• Qwen2.5-Math-RM-72B：Qwen团队开源ORM
• OpenR-MATH-psa-PRM-7B：OpenR项目开源PRM
• RLHFlow-Deepseek-Data-PRM-8B：RLHFlow项目开源PRM

评估指标

• Greedy Sampling Pass@1：贪婪采样生成答案
• Majority Voting@64：随机采样64个答案
• Best-of-N@64：基于RM输出值排序64个答案
  • ORM：仅使用最终步奖励
  • PRM：使用所有步骤平均奖励加权

评估结果

（具体数据表格保持原格式，此处省略详细数值翻译）

快速开始

详细使用指南请参考Skywork-o1-PRM-Inference仓库。

HuggingFace推理

（代码示例保持原格式）

vLLM服务端推理

（安装配置步骤保持原格式）

待办事项

• 增加分步RM评估方法的结果
• 调整RM架构增强vLLM/sglang兼容性
• 扩展更多类型推理任务的应用场景
• 缓解跨任务性能冲突

联系我们

如有疑问请联系：{jujie.he, jiacai.liu}@kunlun-inc.com

许可协议

Skywork模型社区使用需遵守Skywork社区许可证。模型支持商业用途，但必须遵守许可证条款。

免责声明

Skywork模型不得用于危害国家安全或社会稳定的非法活动。未经安全审查不得部署为互联网服务。尽管我们已尽最大努力确保训练数据合规性，但由于模型与数据的复杂性，仍可能存在不可预测的风险。如因使用模型产生任何问题（包括数据安全、舆论风险或被误导滥用等情况），我们将不承担任何责任。

引用

若认为我们的工作有帮助，请引用：

@misc{skyworkopeno12024,
  title={Skywork-o1开放系列},
  author={何炬杰等},
  year={2024},
  month={11月},
  howpublished={\url{https://huggingface.co/Skywork}},
}