🚀 Kimi K2：开放智能体智能
Kimi K2是一款先进的混合专家（MoE）语言模型，拥有320亿激活参数和1万亿总参数。它在前沿知识、推理和编码任务中表现卓越，并且针对智能体能力进行了精心优化。
📰 技术博客 | 📄 论文链接（即将推出）
✨ 主要特性
关键特性
- 大规模训练：在15.5万亿个token上预训练了一个1万亿参数的MoE模型，且训练过程零不稳定。
- MuonClip优化器：将Muon优化器应用到了前所未有的规模，并开发了新的优化技术来解决扩展过程中的不稳定性问题。
- 智能体智能：专门为工具使用、推理和自主问题解决而设计。
模型变体
- Kimi-K2-Base：基础模型，为希望完全控制微调过程和定制解决方案的研究人员和开发者提供了一个强大的起点。
- Kimi-K2-Instruct：经过后续训练的模型，最适合直接使用、通用聊天和智能体体验。它是一个无需长时间思考的快速响应模型。
📚 详细文档
模型概述
| 属性 |
详情 |
| 架构 |
混合专家（MoE） |
| 总参数 |
1万亿 |
| 激活参数 |
320亿 |
| 层数（包括密集层） |
61 |
| 密集层数量 |
1 |
| 注意力隐藏维度 |
7168 |
| MoE隐藏维度（每个专家） |
2048 |
| 注意力头数量 |
64 |
| 专家数量 |
384 |
| 每个token选择的专家数量 |
8 |
| 共享专家数量 |
1 |
| 词汇表大小 |
160K |
| 上下文长度 |
128K |
| 注意力机制 |
MLA |
| 激活函数 |
SwiGLU |
评估结果
指令模型评估结果
| 基准测试 |
指标 |
Kimi K2 Instruct |
DeepSeek-V3-0324 |
Qwen3-235B-A22B
(非思考型) |
Claude Sonnet 4
(无扩展思考) |
Claude Opus 4
(无扩展思考) |
GPT-4.1 |
Gemini 2.5 Flash
预览版 (05-20) |
| 编码任务 |
LiveCodeBench v6
(2024年8月 - 2025年5月) |
Pass@1 |
53.7 |
46.9 |
37.0 |
48.5 |
47.4 |
44.7 |
44.7 |
| OJBench |
Pass@1 |
27.1 |
24.0 |
11.3 |
15.3 |
19.6 |
19.5 |
19.5 |
| MultiPL-E |
Pass@1 |
85.7 |
83.1 |
78.2 |
88.6 |
89.6 |
86.7 |
85.6 |
SWE-bench 验证
(无智能体编码) |
无测试单补丁（准确率） |
51.8 |
36.6 |
39.4 |
50.2 |
53.0 |
40.8 |
32.6 |
SWE-bench 验证
(智能体编码) |
单次尝试（准确率） |
65.8 |
38.8 |
34.4 |
72.7* |
72.5* |
54.6 |
— |
| 多次尝试（准确率） |
71.6 |
— |
— |
80.2 |
79.4* |
— |
— |
SWE-bench 多语言
(智能体编码) |
单次尝试（准确率） |
47.3 |
25.8 |
20.9 |
51.0 |
— |
31.5 |
— |
| TerminalBench |
内部框架（准确率） |
30.0 |
— |
— |
35.5 |
43.2 |
8.3 |
— |
| Terminus（准确率） |
25.0 |
16.3 |
6.6 |
— |
— |
30.3 |
16.8 |
| Aider-Polyglot |
准确率 |
60.0 |
55.1 |
61.8 |
56.4 |
70.7 |
52.4 |
44.0 |
| 工具使用任务 |
| Tau2 retail |
Avg@4 |
70.6 |
69.1 |
57.0 |
75.0 |
81.8 |
74.8 |
64.3 |
| Tau2 airline |
Avg@4 |
56.5 |
39.0 |
26.5 |
55.5 |
60.0 |
54.5 |
42.5 |
| Tau2 telecom |
Avg@4 |
65.8 |
32.5 |
22.1 |
45.2 |
57.0 |
38.6 |
16.9 |
| AceBench |
准确率 |
76.5 |
72.7 |
70.5 |
76.2 |
75.6 |
80.1 |
74.5 |
| 数学与STEM任务 |
| AIME 2024 |
Avg@64 |
69.6 |
59.4* |
40.1* |
43.4 |
48.2 |
46.5 |
61.3 |
| AIME 2025 |
Avg@64 |
49.5 |
46.7 |
24.7* |
33.1* |
33.9* |
37.0 |
46.6 |
| MATH-500 |
准确率 |
97.4 |
94.0* |
91.2* |
94.0 |
94.4 |
92.4 |
95.4 |
| HMMT 2025 |
Avg@32 |
38.8 |
27.5 |
11.9 |
15.9 |
15.9 |
19.4 |
34.7 |
| CNMO 2024 |
Avg@16 |
74.3 |
74.7 |
48.6 |
60.4 |
57.6 |
56.6 |
75.0 |
| PolyMath-en |
Avg@4 |
65.1 |
59.5 |
51.9 |
52.8 |
49.8 |
54.0 |
49.9 |
| ZebraLogic |
准确率 |
89.0 |
84.0 |
37.7* |
73.7 |
59.3 |
58.5 |
57.9 |
| AutoLogi |
准确率 |
89.5 |
88.9 |
83.3 |
89.8 |
86.1 |
88.2 |
84.1 |
| GPQA-Diamond |
Avg@8 |
75.1 |
68.4* |
62.9* |
70.0* |
74.9* |
66.3 |
68.2 |
| SuperGPQA |
准确率 |
57.2 |
53.7 |
50.2 |
55.7 |
56.5 |
50.8 |
49.6 |
Humanity's Last Exam
(仅文本) |
- |
4.7 |
5.2 |
5.7 |
5.8 |
7.1 |
3.7 |
5.6 |
| 通用任务 |
| MMLU |
EM |
89.5 |
89.4 |
87.0 |
91.5 |
92.9 |
90.4 |
90.1 |
| MMLU-Redux |
EM |
92.7 |
90.5 |
89.2 |
93.6 |
94.2 |
92.4 |
90.6 |
| MMLU-Pro |
EM |
81.1 |
81.2* |
77.3 |
83.7 |
86.6 |
81.8 |
79.4 |
| IFEval |
严格提示 |
89.8 |
81.1 |
83.2* |
87.6 |
87.4 |
88.0 |
84.3 |
| Multi-Challenge |
准确率 |
54.1 |
31.4 |
34.0 |
46.8 |
49.0 |
36.4 |
39.5 |
| SimpleQA |
正确 |
31.0 |
27.7 |
13.2 |
15.9 |
22.8 |
42.3 |
23.3 |
| Livebench |
Pass@1 |
76.4 |
72.4 |
67.6 |
74.8 |
74.6 |
69.8 |
67.8 |
• 加粗表示全球最优，下划线表示开源最优。
• 标有*的数据点直接取自模型的技术报告或博客。
• 除了SWE-bench验证（无智能体）外，所有指标均在8k输出token长度下进行评估。SWE-bench验证（无智能体）的输出token长度限制为16k。
• Kimi K2在使用bash/编辑器工具的SWE-bench验证测试中（单次尝试补丁，无测试时计算）达到了65.8%的Pass@1。在相同条件下，它在SWE-bench多语言测试中的Pass@1也达到了47.3%。此外，我们还报告了利用并行测试时计算的SWE-bench验证测试结果（71.6%），即通过采样多个序列并通过内部评分模型选择单个最佳结果。
• 为确保评估的稳定性，我们在AIME、HMMT、CNMO、PolyMath-en、GPQA-Diamond、EvalPlus、Tau2上采用了avg@k。
• 由于评估成本过高，部分数据点已被省略。
基础模型评估结果
| 基准测试 |
指标 |
样本数 |
Kimi K2 Base |
Deepseek-V3-Base |
Qwen2.5-72B |
Llama 4 Maverick |
| 通用任务 |
| MMLU |
EM |
5样本 |
87.8 |
87.1 |
86.1 |
84.9 |
| MMLU-pro |
EM |
5样本 |
69.2 |
60.6 |
62.8 |
63.5 |
| MMLU-redux-2.0 |
EM |
5样本 |
90.2 |
89.5 |
87.8 |
88.2 |
| SimpleQA |
正确 |
5样本 |
35.3 |
26.5 |
10.3 |
23.7 |
| TriviaQA |
EM |
5样本 |
85.1 |
84.1 |
76.0 |
79.3 |
| GPQA-Diamond |
Avg@8 |
5样本 |
48.1 |
50.5 |
40.8 |
49.4 |
| SuperGPQA |
EM |
5样本 |
44.7 |
39.2 |
34.2 |
38.8 |
| 编码任务 |
| LiveCodeBench v6 |
Pass@1 |
1样本 |
26.3 |
22.9 |
21.1 |
25.1 |
| EvalPlus |
Pass@1 |
- |
80.3 |
65.6 |
66.0 |
65.5 |
| 数学任务 |
| MATH |
EM |
4样本 |
70.2 |
60.1 |
61.0 |
63.0 |
| GSM8k |
EM |
8样本 |
92.1 |
91.7 |
90.4 |
86.3 |
| 中文任务 |
| C-Eval |
EM |
5样本 |
92.5 |
90.0 |
90.9 |
80.9 |
| CSimpleQ |
待补充相关评估结果 |
📄 许可证
本项目采用修改后的MIT许可证。具体详情请查看许可证文件。
Transformers 支持多种语言%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)