基础模型:

• Qwen/Qwen2.5-14B-Instruct 数据集:
• nvidia/OpenCodeReasoning 语言:
• 英文 库名称: transformers 许可证: apache-2.0 标签:
• nvidia
• 代码 管道标签: 文本生成

OpenCodeReasoning-Nemotron-14B 概述

描述:

OpenCodeReasoning-Nemotron-14B 是一个大型语言模型（LLM），它是 Qwen2.5-14B-Instruct（也称为参考模型）的衍生版本。这是一个专为代码生成推理而进行后训练的推理模型，支持32K tokens的上下文长度。

该模型可用于商业/非商业用途。

来自 OpenCodeReasoning 的结果

以下结果是每个基准测试64次评估的平均值。

复现我们的结果

• 模型
• 数据集
• 论文

如何使用这些模型？

运行代码问题的推理：

import transformers
import torch

model_id = "nvidia/OpenCodeReasoning-Nemotron-14B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

prompt = """你是一个乐于助人且无害的助手。在回答以下指令之前，你应该逐步思考。

请仅使用 Python 编程语言。

你必须使用 ```python 仅用于最终解决方案代码块，格式如下：
```python
# 你的代码在这里
```

{用户输入}
"""

messages = [
    {
        "role": "user",
        "content": prompt.format(user="编写一个程序来计算前 $N$ 个斐波那契数的和")},
]

outputs = pipeline(
    messages,
    max_new_tokens=32768,
)
print(outputs[0]["generated_text"][-1]['content'])