许可协议：Apache-2.0
许可链接：https://huggingface.co/Qwen/Qwen3-0.6B-GGUF/blob/main/LICENSE
模型类型：文本生成
基础模型：Qwen/Qwen3-0.6B

Qwen3-0.6B-GGUF

Qwen3核心亮点

Qwen3是通义千问系列最新一代大语言模型，提供完整稠密模型与混合专家（MoE）架构。经过海量训练，Qwen3在推理、指令遵循、智能体能力和多语言支持方面实现突破性进展，主要特性包括：

• 独创思维模式切换：支持在思维模式（复杂逻辑推理/数学/编程）与非思维模式（高效通用对话）间无缝切换，确保各类场景最优表现
• 显著增强推理能力：在数学、代码生成和常识逻辑推理方面，超越前代QwQ（思维模式）与Qwen2.5指令模型（非思维模式）
• 卓越的人类偏好对齐：在创意写作、角色扮演、多轮对话和指令遵循方面表现优异，提供更自然、沉浸的对话体验
• 专业智能体能力：精准对接外部工具（思维/非思维模式皆可），在复杂智能体任务中保持开源模型领先性能
• 支持100+种语言与方言，具备强大的多语言指令遵循与翻译能力

模型概览

Qwen3-0.6B核心参数：

• 类型：因果语言模型
• 训练阶段：预训练+后训练
• 参数量：0.6B
• 非嵌入参数量：0.44B
• 层数：28
• 注意力头数（GQA）：查询头16个，键值头8个
• 上下文长度：32,768
• 量化方案：q8_0

更多细节（基准测试、硬件需求、推理性能）请参阅博客、GitHub和文档。

快速开始

llama.cpp

参考llama.cpp使用指南。建议克隆llama.cpp并按官方指引安装（我们适配最新版本）。以下示例假设在llama.cpp仓库目录运行：

./llama-cli -hf Qwen/Qwen3-0.6B-GGUF:Q8_0 --jinja --color -ngl 99 -fa -sm row --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 --presence-penalty 1.5 -c 40960 -n 32768 --no-context-shift  

ollama

参考ollama使用指南。单命令运行：

ollama run hf.co/Qwen/Qwen3-0.6B-GGUF:Q8_0  

思维模式切换

通过在用户提示或系统消息中添加/think和/no_think实现回合制切换。多轮对话中模型将遵循最新指令。

示例对话：

> 你是谁 /no_think  

<think></think>  

我是通义千问，由阿里云研发的大语言模型[...]  

> "strawberries"里有几个'r'？ /think  

<think>  
开始分析：用户询问"strawberries"中字母'r'的出现次数[...]  
</think>  

该单词包含3个字母r[...]  

最佳实践

推荐配置方案：

1. 采样参数：

   • 思维模式：Temperature=0.6，TopP=0.95，TopK=20，MinP=0，PresencePenalty=1.5
   • 非思维模式：Temperature=0.7，TopP=0.8，其他参数相同
   • 量化模型建议设置presence_penalty=1.5抑制重复输出（可调范围0-2，过高可能导致语言混杂）

2. 充足输出长度：常规任务推荐32,768 tokens，数学/编程等复杂问题建议38,912 tokens

3. 标准化输出格式：

   • 数学题：提示词加入"请逐步推理，最终答案用\boxed{}包裹"
   • 选择题：提示词添加JSON结构规范输出，如"answer": "C"

4. 历史记录处理：多轮对话中，历史输出应仅保留最终结果（Jinja2模板已实现该逻辑）

引用

如果觉得我们的工作有帮助，欢迎引用：

@misc{qwen3,  
    title  = {Qwen3},  
    url    = {https://qwenlm.github.io/blog/qwen3/},  
    author = {Qwen Team},  
    month  = {四月},  
    year   = {2025}  
}