license: apache-2.0 library_name: transformers

Qwen3-14B-Base 模型

Qwen3核心亮点

Qwen3作为通义千问系列最新一代大语言模型，提供了完整的稠密模型与混合专家（MoE）模型体系。基于训练数据、模型架构与优化技术的全面升级，Qwen3相较此前发布的Qwen2.5实现了以下关键突破：

• 更优质的大规模预训练语料：Qwen3预训练数据覆盖119种语言的36万亿token，语言多样性达Qwen2.5的三倍，并显著提升编程、STEM、推理、书籍、多语言及合成数据等高价值内容的占比
• 创新的训练技术与架构：引入MoE模型的全局批次负载均衡损失函数，以及全系模型标配的qk层归一化技术，显著提升训练稳定性与整体性能
• 三阶段渐进式预训练：第一阶段夯实通用语言建模基础，第二阶段专项强化STEM/编程/逻辑推理能力，第三阶段通过32k超长上下文训练突破长文本理解瓶颈
• 基于扩展定律的超参调优：通过三阶段预训练管线的规模化实验，系统化调优稠密/MoE模型的关键超参数（如学习率调度策略与批次大小），实现不同规模模型的最佳训练动态

模型概览

Qwen3-14B-Base核心参数：

• 模型类型：因果语言模型
• 训练阶段：预训练
• 参数量：148亿
• 非嵌入参数量：132亿
• 网络层数：40
• 注意力头配置（GQA）：40个查询头 + 8个键值头
• 上下文长度：32,768 tokens

完整技术细节（含基准测试、硬件需求与推理性能）请参阅我们的技术博客、GitHub仓库及文档中心。

环境要求

Qwen3代码已集成至Hugging Face最新版transformers库，建议使用transformers最新版本。

若使用transformers<4.51.0版本将触发以下报错：

KeyError: 'qwen3'

评估与性能

详细评测结果请查阅📄技术博客。

引用声明

如果您觉得我们的工作有帮助，欢迎引用：

@misc{qwen3,
    title  = {Qwen3},
    url    = {https://qwenlm.github.io/blog/qwen3/},
    author = {Qwen Team},
    month  = {April},
    year   = {2025}
}