license: apache-2.0 library_name: transformers pipeline_tag: text-generation

Qwen3-0.6B基础版

Qwen3核心亮点

Qwen3是通义千问系列最新一代大语言模型，提供完整的稠密模型与混合专家（MoE）模型体系。基于训练数据、模型架构和优化技术的全面升级，Qwen3相较此前发布的Qwen2.5实现以下关键突破：

• 更优质预训练语料库：训练数据覆盖119种语言的36万亿token，语言多样性达Qwen2.5的三倍，包含更丰富的编程、STEM、推理、书籍、多语言及合成数据等高价值内容
• 创新训练架构技术：采用全局批次负载均衡损失（MoE模型专用）和全模型qk层归一化等系列技术创新，显著提升训练稳定性与综合性能
• 三阶段预训练体系：第一阶段专注通用语言建模，第二阶段强化STEM/编程/逻辑推理能力，第三阶段通过32k超长上下文训练提升长文本理解
• 缩放定律指导的超参优化：基于三阶段预训练的全面缩放定律研究，分别针对稠密模型和MoE模型系统优化学习率调度器、批次大小等关键超参，实现不同规模模型的最佳训练动态

模型概览

Qwen3-0.6B基础版核心参数：

• 类型：因果语言模型
• 训练阶段：预训练
• 参数量：6亿
• 非嵌入参数量：4.4亿
• 层数：28
• 注意力头数（GQA）：查询头16个，键值头8个
• 上下文长度：32,768 token

完整基准测试、硬件需求及推理性能请参阅技术博客、GitHub仓库与文档中心。

环境要求

Qwen3代码已集成至Hugging Face最新版transformers，建议使用最新版本。若transformers<4.51.0将报错：

KeyError: 'qwen3'

评估表现

详细评测结果请查阅📖技术博客。

引用声明

欢迎引用我们的工作：

@misc{qwen3,
    title  = {Qwen3},
    url    = {https://qwenlm.github.io/blog/qwen3/},
    author = {Qwen Team},
    month  = {April},
    year   = {2025}
}