许可证：llama3.1
基础模型：

• meta-llama/Llama-3.1-8B
  数据集：
• nvidia/OpenMathInstruct-2
  语言：
• 英语
  标签：
• NVIDIA
• 数学
  库名称：transformers

OpenMath2-Llama3.1-8B

OpenMath2-Llama3.1-8B 是通过对 Llama3.1-8B-Base 使用 OpenMathInstruct-2 进行微调而得到的。

该模型在我们评估的所有流行数学基准测试中均优于 Llama3.1-8B-Instruct，尤其是在 MATH 上提升了15.9%。

我们用于生成数据和模型的流程是完全开源的！

• 代码
• 模型
• 数据集

详情请参阅我们的论文！

如何使用这些模型？

我们的模型与 Llama3.1-instruct 模型使用相同的“聊天格式”（相同的系统/用户/助手标记）。
请注意，这些模型未在通用数据上进行指令微调，因此在数学领域之外可能无法提供良好的回答。

我们建议使用我们仓库中的说明来运行这些模型的推理，但这里提供一个通过 transformers API 实现的示例：

import transformers  
import torch  

model_id = "nvidia/OpenMath2-Llama3.1-8B"  

pipeline = transformers.pipeline(  
    "text-generation",  
    model=model_id,  
    model_kwargs={"torch_dtype": torch.bfloat16},  
    device_map="auto",  
)  

messages = [  
    {  
        "role": "user",   
        "content": "Solve the following math problem. Make sure to put the answer (and only answer) inside \\boxed{}.\n\n" +   
        "What is the minimum value of $a^2+6a-7$?"},  
]  

outputs = pipeline(  
    messages,  
    max_new_tokens=4096,  
)  
print(outputs[0]["generated_text"][-1]['content'])  

复现我们的结果

我们提供了所有说明以完全复现我们的结果。

引用

如果您觉得我们的工作有用，请考虑引用我们！

@article{toshniwal2024openmath2,  
  title   = {OpenMathInstruct-2: Accelerating AI for Math with Massive Open-Source Instruction Data},  
  author  = {Shubham Toshniwal and Wei Du and Ivan Moshkov and  Branislav Kisacanin and Alexan Ayrapetyan and Igor Gitman},  
  year    = {2024},  
  journal = {arXiv preprint arXiv:2410.01560}  
}  

使用条款

通过访问此模型，您同意遵守 LLama 3.1 许可证、可接受使用政策 和 Meta 隐私政策 的条款和条件。