许可证：Apache-2.0
许可证链接：https://huggingface.co/Qwen/QWQ-32B/blob/main/LICENSE
语言：

• 英文
  任务标签：文本生成
  基础模型：Qwen/QwQ-32B
  标签：
• 聊天
• TensorBlock
• GGUF

Qwen/QwQ-32B - GGUF格式

本仓库包含Qwen/QwQ-32B的GGUF格式模型文件。

这些文件由TensorBlock提供的机器进行量化，兼容截至b4823提交版本的llama.cpp。

我们的项目

Awesome MCP服务器合集	TensorBlock工作室
全面收录模型上下文协议（MCP）服务器的资源库。	轻量、开放、可扩展的多LLM交互工作室。
👀 查看我们的成果 👀	👀 查看我们的成果 👀

提示词模板

<|im_start|>system
{系统提示}<|im_end|>
<|im_start|>user
{用户输入}<|im_end|>
<|im_start|>assistant
<思考>

模型文件规格

下载指南

命令行方式

首先安装Huggingface客户端：

pip install -U "huggingface_hub[cli]"

然后下载单个模型文件到本地目录：

huggingface-cli download tensorblock/QwQ-32B-GGUF --include "QwQ-32B-Q2_K.gguf" --local-dir 本地目录路径

如需批量下载符合特定模式的文件（例如*Q4_K*gguf）：

huggingface-cli download tensorblock/QwQ-32B-GGUF --local-dir 本地目录路径 --local-dir-use-symlinks False --include='*Q4_K*gguf'