基础模型:

• Qwen/Qwen2.5-32B-Instruct 数据集:
• nvidia/OpenCodeReasoning 语言:
• en 库名称: transformers 许可证: apache-2.0 标签:
• nvidia
• 代码 管道标签: 文本生成

OpenCodeReasoning-Nemotron-32B 概述

描述:

OpenCodeReasoning-Nemotron-32B 是一个大型语言模型（LLM），它是 Qwen2.5-32B-Instruct（又称参考模型）的衍生版本。这是一个针对代码生成进行推理后训练的推理模型。该模型支持32K tokens的上下文长度。

该模型可用于商业/非商业用途。

来自 OpenCodeReasoning 的结果

以下结果是每个基准测试上64次评估的平均值。

复现我们的结果

• 模型
• 数据集
• 论文

如何使用这些模型？

运行代码问题的推理：

import transformers
import torch

model_id = "nvidia/OpenCodeReasoning-Nemotron-32B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

prompt = """你是一个乐于助人且无害的助手。在回答以下指令前，你应该逐步思考。

请仅使用Python编程语言。

你必须使用```python来标记最终的解决方案代码块，格式如下：
```python
# 你的代码在这里
```

{用户输入}
"""

messages = [
    {
        "role": "user",
        "content": prompt.format(user="编写一个程序来计算前$N$个斐波那契数的和")},
]

outputs = pipeline(
    messages,
    max_new_tokens=32768,
)
print(outputs[0]["generated_text"][-1]['content'])