license: apache-2.0 library_name: transformers

Qwen3-4B-Base

Qwen3核心亮点

Qwen3是通义千问系列最新一代大语言模型，提供完整的稠密模型与混合专家（MoE）模型组合。基于训练数据、模型架构和优化技术的全面升级，Qwen3相比此前发布的Qwen2.5实现了以下关键突破：

• 更高质量的大规模预训练语料：Qwen3基于36万亿token的119种语言数据进行预训练——语言覆盖范围达Qwen2.5的三倍——并大幅提升代码、STEM学科、推理、书籍、多语言及合成数据等高价值数据的占比。
• 训练技术与架构革新：引入包括MoE模型的全局批次负载均衡损失、全系模型的qk层归一化等系列技术创新，显著提升训练稳定性与整体性能。
• 三阶段预训练范式：第一阶段专注通用语言建模与常识积累；第二阶段强化STEM、编程与逻辑推理等专项能力；第三阶段通过32k超长上下文训练增强长文本理解。
• 缩放定律指导的超参优化：通过三阶段预训练管线的系统性缩放研究，针对稠密模型与MoE模型分别优化学习率调度器、批次大小等关键超参，实现不同规模模型的最佳训练动态。

模型概览

Qwen3-4B-Base核心参数：

• 模型类型：因果语言模型
• 训练阶段：预训练
• 参数量：40亿
• 非嵌入参数量：36亿
• 层数：36
• 注意力头数（GQA）：查询头32组，键值头8组
• 上下文长度：32,768

完整评测数据、硬件需求及推理性能请参阅我们的技术博客、GitHub仓库与文档中心。

环境要求

Qwen3代码已集成至Hugging Face最新版transformers库，建议使用最新版本。若使用transformers<4.51.0将触发以下错误：

KeyError: 'qwen3'

评测表现

详细评测结果请查阅这篇📖 技术博客。

引用声明

如果您觉得我们的工作有帮助，欢迎引用：

@misc{qwen3technicalreport,
      title={Qwen3技术报告}, 
      author={Qwen团队},
      year={2025},
      eprint={2505.09388},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.09388}, 
}