许可证：其他 许可证名称：英伟达开放模型许可证 许可证链接：>- https://developer.download.nvidia.com/licenses/nvidia-open-model-license-agreement-june-2024.pdf 库名称：transformers 任务标签：文本生成 语言：

• 英文 标签：
• 英伟达
• llama-3
• pytorch

Nemotron-Mini-4B-Instruct

模型概述

Nemotron-Mini-4B-Instruct 是一款专为角色扮演、检索增强生成和函数调用设计的响应生成模型。作为经过蒸馏、剪枝和量化优化的小型语言模型（SLM），它在速度和设备端部署方面表现卓越。该模型是基于nvidia/Minitron-4B-Base微调的版本，后者通过我们的LLM压缩技术从Nemotron-4 15B剪枝蒸馏而来。该指令模型针对英文场景的角色扮演、RAG问答和函数调用进行了优化，支持4,096个token的上下文长度，已开放商业使用。

您可以在build.nvidia.com体验此模型。

关于该模型如何应用于NVIDIA ACE的详细信息，请参阅这篇博客和演示视频，其中展示了模型如何集成到视频游戏中。您可以从此处下载适用于NVIDIA AI推理管理器（AIM）SDK的模型检查点。

模型开发者： NVIDIA
开发周期： 2024年2月至2024年8月

许可协议

NVIDIA社区模型许可证

模型架构

采用3072维嵌入向量、32个注意力头、9216维MLP中间层，配备分组查询注意力（GQA）和旋转位置编码（RoPE）。

架构类型： 自回归Transformer解码器
网络架构： Nemotron-4

提示词格式

建议使用微调时的标准提示模板：

单轮对话

<extra_id_0>系统
{系统提示}

<extra_id_1>用户
{用户输入}
<extra_id_1>助手\n

工具调用

<extra_id_0>系统
{系统提示}

<工具> ... </工具>
<上下文> ... </上下文>

<extra_id_1>用户
{用户输入}
<extra_id_1>助手
<工具调用> ... </工具调用>
<extra_id_1>工具
{工具响应}
<extra_id_1>助手\n

使用示例

from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained("nvidia/Nemotron-Mini-4B-Instruct")
model = AutoModelForCausalLM.from_pretrained("nvidia/Nemotron-Mini-4B-Instruct")

# 应用提示模板
messages = [
    {"role": "system", "content": "你是一个总是用海盗风格回应的友好聊天机器人"},
    {"role": "user", "content": "人类一顿饭能吃多少架直升机？"}
]
tokenized_chat = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")

outputs = model.generate(tokenized_chat, max_new_tokens=128)
print(tokenizer.decode(outputs[0]))

管道用法需手动绑定分词器：

from transformers import pipeline, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("nvidia/Nemotron-Mini-4B-Instruct")
messages = [{"role": "user", "content": "你是谁？"}]
pipe = pipeline("text-generation", model="nvidia/Nemotron-Mini-4B-Instruct")
pipe.tokenizer = tokenizer  # 需手动指定分词器
pipe(messages)

AI安全措施

模型通过三重安全评估：

• Garak：自动化漏洞扫描工具，检测提示注入等风险
• AEGIS：涵盖13类人机交互风险的评估体系
• 人工红队测试：通过真人交互评估模型响应

局限性

训练数据包含互联网爬取内容中存在的毒性语言和社会偏见，可能导致模型放大这些偏见或生成不当内容。即使输入无害提示，模型仍可能产生不准确、遗漏关键信息或包含无关/冗余内容的回答。未使用推荐提示模板时，这些问题可能加剧。

伦理考量

英伟达认为可信AI是共同责任，我们已建立政策体系支持多样化AI应用开发。开发者应根据自身行业需求进行内部模型评估，防范潜在滥用。详细伦理分析请参阅Model Card++。安全问题请通过此链接报告。