基础模型:

• nvidia/AceReason-Nemotron-14B 库名称: transformers 许可证: 其他 许可证名称: NVIDIA开放模型许可证 许可证链接: >- https://www.nvidia.com/en-us/agreements/enterprise-software/nvidia-open-model-license/ 管道标签: 文本生成 语言:
  • 英语 标签:
• NVIDIA
• Unsloth
  • 推理
  • 数学
  • 编程
  • 强化学习
  • PyTorch

Unsloth Dynamic 2.0实现了卓越的准确性，超越了其他领先的量化方法。

AceReason-Nemotron: 通过强化学习推进数学与编程推理

我们非常高兴地推出AceReason-Nemotron-14B，这是一个完全通过强化学习（RL）训练的数学与编程推理模型，基于DeepSeek-R1-Distilled-Qwen-14B开发。它取得了令人印象深刻的成果：AIME 2024达到78.6%（提升8.9%），AIME 2025达到67.4%（提升17.4%），LiveCodeBench v5达到61.1%（提升8%），LiveCodeBench v6达到54.9%（提升7%），Codeforces得分2024（提升543分）。我们通过大量消融实验系统研究了RL训练过程，并提出了一种简单而有效的方法：首先在纯数学提示上进行RL训练，然后在纯编程提示上进行RL训练。值得注意的是，我们发现纯数学RL不仅显著提升了强蒸馏模型在数学基准测试中的表现，还提升了编程推理任务的表现。此外，扩展的纯编程RL进一步提高了编程基准测试的性能，同时对数学结果的影响极小。我们发现RL不仅激发了模型在预训练和监督微调（如蒸馏）中获得的基础推理能力，还突破了模型推理能力的极限，使其能够解决之前无法解决的问题。

我们在技术报告中分享了训练方法和训练日志。

结果

我们在AIME 2024、AIME 2025、LiveCodeBench v5（2024/08/01 - 2025/02/01）和LiveCodeBench v6（2025/02/01-2025/05/01）上评估了我们的模型，并与Qwen2.5和Llama3.1模型家族中规模相当的竞争性推理模型进行了比较。更多评估结果请参阅我们的技术报告。