基础模型:

• Qwen/Qwen2.5-Math-1.5B 数据集:
• nvidia/OpenMathReasoning 语言:
• en 库名称: transformers 许可证: cc-by-4.0 标签:
• nvidia
• 数学 管道标签: 文本生成

OpenMath-Nemotron-1.5B

OpenMath-Nemotron-1.5B是通过在OpenMathReasoning数据集上微调Qwen/Qwen2.5-Math-1.5B创建的。 该模型已准备好用于商业用途。

OpenMath-Nemotron模型在流行的数学基准测试中取得了最先进的结果。我们以pass@1（maj@64）的形式呈现指标，其中pass@1是64次生成的平均准确率，maj@64是多数投票的结果。 有关评估设置的更多详情，请参阅我们的论文。

我们使用了OpenMath-Nemotron-14B的一个版本模型，在AIMO-2 Kaggle竞赛中获得了第一名！

复现我们的结果

我们用于生成数据和模型的流程是完全开源的！

• 代码
• 模型
• 数据集
• 论文

我们提供了所有说明来完全复现我们的结果，包括数据生成。

如何使用这些模型？

我们的模型可以在3种推理模式下使用：思维链（CoT）、工具集成推理（TIR）和生成解决方案选择（GenSelect）。

要在CoT模式下运行推理，可以使用以下示例代码片段。

import transformers
import torch

model_id = "nvidia/OpenMath-Nemotron-1.5B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {
        "role": "user", 
        "content": "解决以下数学问题。确保将答案（且仅答案）放在\\boxed{}中。" + 
        "What is the minimum value of $a^2+6a-7$?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=4096,
)
print(outputs[0]["generated_text"][-1]['content'])

要在TIR或GenSelect模式下运行推理，我们强烈建议使用我们在NeMo-Skills中的参考实现。

请注意，这些模型尚未在一般数据上进行指令调优，因此在数学领域之外可能无法提供良好的答案。

引用

如果您发现我们的工作有用，请考虑引用我们！

@article{moshkov2025aimo2,
  title   = {AIMO-2 Winning Solution: Building State-of-the-Art Mathematical Reasoning Models with OpenMathReasoning dataset},
  author  = {Ivan Moshkov and Darragh Hanley and Ivan Sorokin and Shubham Toshniwal and Christof Henkel and Benedikt Schifferer and Wei Du and Igor Gitman},
  year    = {2025},
  journal = {arXiv preprint arXiv:2504.16891}
}

附加信息

许可证/使用条款:

管理条款：本模型的使用受CC-BY-4.0约束。 附加信息：Apache License Version 2.0。

部署地理范围:

全球

使用案例:

本模型旨在促进数学推理领域的研究。

发布日期:  

Huggingface 2025年4月23日

模型架构:

架构类型: Transformer解码器专用语言模型  

网络架构: Qwen2.5

**本模型基于Qwen2.5-1.5B开发

** 本模型拥有15亿模型参数。

输入:

输入类型: 文本

输入格式: 字符串

输入参数: 一维（1D）

与输入相关的其他属性: 上下文长度可达131,072个令牌

输出:

输出类型: 文本

输出格式: 字符串

输出参数: 一维（1D）

与输出相关的其他属性: 上下文长度可达131,072个令牌

我们的AI模型设计并/或优化以在NVIDIA GPU加速系统上运行。通过利用NVIDIA的硬件（如GPU核心）和软件框架（如CUDA库），该模型相比仅使用CPU的解决方案实现了更快的训练和推理时间。

软件集成 :

运行时引擎:

• Tensor RT / Triton
  

支持的硬件微架构兼容性:

• NVIDIA Ampere
  

• NVIDIA Hopper
  

首选操作系统:

• Linux
  

模型版本:

OpenMath-Nemotron-1.5B

OpenMath-Nemotron-7B

OpenMath-Nemotron-14B

OpenMath-Nemotron-32B

伦理考量:

NVIDIA认为可信AI是一项共同责任，我们已制定政策和实践以支持广泛AI应用的开发。 当根据我们的服务条款下载或使用时，开发人员应与其内部模型团队合作，确保该模型满足相关行业和使用案例的要求，并解决意外的产品滥用问题。

有关本模型的伦理考量的更详细信息，请参阅模型卡++ 可解释性、偏见、安全与保障和隐私子卡。

请在此链接报告安全漏洞或NVIDIA AI相关问题。