基础模型: nvidia/Llama-3.1-Nemotron-Nano-8B-v1
语言:

• 英文
  库名称: transformers
  许可证: 其他
  许可证名称: NVIDIA开放模型许可证
  许可证链接: https://www.nvidia.com/en-us/agreements/enterprise-software/nvidia-open-model-license/
  管道标签: 文本生成
  标签:
• NVIDIA
• Llama-3
• PyTorch
• TensorBlock
• GGUF

nvidia/Llama-3.1-Nemotron-Nano-8B-v1 - GGUF格式

本仓库包含nvidia/Llama-3.1-Nemotron-Nano-8B-v1的GGUF格式模型文件。

这些文件由TensorBlock提供的机器进行量化，并与commit b4882版本的llama.cpp兼容。

我们的项目

Awesome MCP Servers	TensorBlock Studio
一个全面的模型上下文协议(MCP)服务器集合。	一个轻量级、开放且可扩展的多LLM交互工作室。
👀 查看我们的成果 👀	👀 查看我们的成果 👀

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{系统提示}<|eot_id|><|start_header_id|>user<|end_header_id|>

{用户提示}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

模型文件规格

下载指南

命令行方式

首先安装Huggingface客户端

pip install -U "huggingface_hub[cli]"

然后下载单个模型文件到本地目录

huggingface-cli download tensorblock/Llama-3.1-Nemotron-Nano-8B-v1-GGUF --include "Llama-3.1-Nemotron-Nano-8B-v1-Q2_K.gguf" --local-dir 本地目录路径

如需批量下载符合特定模式的文件(例如*Q4_K*gguf)，可执行:

huggingface-cli download tensorblock/Llama-3.1-Nemotron-Nano-8B-v1-GGUF --local-dir 本地目录路径 --local-dir-use-symlinks False --include='*Q4_K*gguf'