库名称：transformers
许可证：apache-2.0
许可证链接：https://huggingface.co/Qwen/Qwen3-8B/blob/main/LICENSE
任务标签：文本生成
基础模型：Qwen/Qwen3-8B
标签：

• TensorBlock
• GGUF

Qwen/Qwen3-8B - GGUF

本仓库包含Qwen/Qwen3-8B的GGUF格式模型文件。

这些文件由TensorBlock提供的机器进行量化，兼容截至b5214提交的llama.cpp版本。

我们的项目

Awesome MCP Servers	TensorBlock Studio
模型上下文协议（MCP）服务器的全面合集。	轻量级、开放且可扩展的多LLM交互工作室。
😀 看看我们构建了什么 😀	😀 看看我们构建了什么 😀

提示模板

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

模型文件规格

下载指南

命令行

首先，安装Huggingface客户端

pip install -U "huggingface_hub[cli]"

然后，将单个模型文件下载到本地目录

huggingface-cli download tensorblock/Qwen_Qwen3-8B-GGUF --include "Qwen3-8B-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果想下载多个符合特定模式（如*Q4_K*gguf）的模型文件，可以尝试：

huggingface-cli download tensorblock/Qwen_Qwen3-8B-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'