Kimi-K2-Base开源语言模型 - 免费部署助力智能体实现强大应用能力

首页

Kimi K2 Base

由 moonshotai 开发

Kimi K2 是一款先进的混合专家（MoE）语言模型，拥有 320 亿激活参数和 1 万亿总参数，针对智能体能力进行了优化。

大型语言模型

Transformers

开源协议:其他 #万亿级MoE架构 #智能体优化 #128K长上下文

下载量 1,325

发布时间 : 7/3/2025

模型简介

Kimi K2 是一款专为工具使用、推理和自主问题解决设计的混合专家语言模型，在前沿知识、推理和编码任务中表现卓越。

模型特点

大规模训练

在 15.5 万亿个标记上预训练了 1 万亿参数的 MoE 模型，训练过程零不稳定。

MuonClip 优化器

将 Muon 优化器应用于前所未有的规模，并开发了新的优化技术以解决扩展过程中的不稳定性。

智能体智能

专为工具使用、推理和自主问题解决而设计，在编码和数学任务中表现优异。

长上下文支持

支持 128K 的上下文长度，适合处理长文档和复杂任务。

模型能力

文本生成

代码生成与补全

数学推理

工具使用

自主问题解决

多语言支持

长文本处理

使用案例

编程开发

代码补全与生成

帮助开发者快速生成和补全代码，提高开发效率。

在 LiveCodeBench v6 上 Pass@1 达到 53.7

软件工程问题解决

解决实际的软件工程问题，包括 bug 修复和功能实现。

在 SWE-bench 验证测试中通过率 65.8%

数学与 STEM

数学问题求解

解决复杂的数学问题，包括竞赛级数学题。

在 AIME 2024 上平均得分 69.6

逻辑推理

进行复杂的逻辑推理和问题解决。

在 ZebraLogic 上准确率 89.0%

通用智能助手

知识问答

回答各种领域的知识性问题。

在 MMLU 上 EM 得分 89.5

工具使用

通过工具调用完成复杂任务。

在 Tau2 retail 上 Avg@4 达到 70.6

🚀 Kimi K2：开放智能体语言模型

Kimi K2 是一款先进的混合专家（MoE）语言模型，拥有 320 亿激活参数和 1 万亿总参数。它在前沿知识、推理和编码任务中表现卓越，尤其针对智能体能力进行了精心优化。

🚀 快速开始

你可以通过以下链接快速了解和使用 Kimi K2：

✨ 主要特性

大规模训练：在 15.5 万亿个标记上预训练了 1 万亿参数的 MoE 模型，且训练过程零不稳定。
MuonClip 优化器：将 Muon 优化器应用于前所未有的规模，并开发了新的优化技术以解决扩展过程中的不稳定性。
智能体智能：专为工具使用、推理和自主问题解决而设计。

📦 模型变体

Kimi-K2-Base：基础模型，为希望完全控制微调过程和定制解决方案的研究人员和开发者提供了强大的起点。
Kimi-K2-Instruct：经过后续训练的模型，最适合直接使用的通用聊天和智能体体验，是一种无需长时间思考的反射级模型。

📚 详细文档

模型概述

属性	详情
模型架构	混合专家（MoE）
总参数数量	1 万亿
激活参数数量	320 亿
层数（包括密集层）	61
密集层数量	1
注意力隐藏维度	7168
MoE 隐藏维度（每个专家）	2048
注意力头数量	64
专家数量	384
每个标记选择的专家数量	8
共享专家数量	1
词汇表大小	160K
上下文长度	128K
注意力机制	MLA
激活函数	SwiGLU

评估结果

指令模型评估结果

基准测试	指标	Kimi K2 Instruct	DeepSeek-V3-0324	Qwen3-235B-A22B (非思考模式)	Claude Sonnet 4 (无扩展思考)	Claude Opus 4 (无扩展思考)	GPT-4.1	Gemini 2.5 Flash 预览版 (05 - 20)
编码任务
LiveCodeBench v6 (2024 年 8 月 - 2025 年 5 月)	Pass@1	53.7	46.9	37.0	48.5	47.4	44.7	44.7
OJBench	Pass@1	27.1	24.0	11.3	15.3	19.6	19.5	19.5
MultiPL - E	Pass@1	85.7	83.1	78.2	88.6	89.6	86.7	85.6
SWE - bench 验证 (无智能体编码)	单补丁无测试 (准确率)	51.8	36.6	39.4	50.2	53.0	40.8	32.6
SWE - bench 验证 (智能体编码)	单次尝试 (准确率)	65.8	38.8	34.4	72.7^*	72.5^*	54.6	—
SWE - bench 验证 (智能体编码)	多次尝试 (准确率)	71.6	—	—	80.2	79.4^*	—	—
SWE - bench 多语言 (智能体编码)	单次尝试 (准确率)	47.3	25.8	20.9	51.0	—	31.5	—
TerminalBench	内部框架 (准确率)	30.0	—	—	35.5	43.2	8.3	—
TerminalBench	Terminus (准确率)	25.0	16.3	6.6	—	—	30.3	16.8
Aider - Polyglot	准确率	60.0	55.1	61.8	56.4	70.7	52.4	44.0
工具使用任务
Tau2 retail	Avg@4	70.6	69.1	57.0	75.0	81.8	74.8	64.3
Tau2 airline	Avg@4	56.5	39.0	26.5	55.5	60.0	54.5	42.5
Tau2 telecom	Avg@4	65.8	32.5	22.1	45.2	57.0	38.6	16.9
AceBench	准确率	76.5	72.7	70.5	76.2	75.6	80.1	74.5
数学与 STEM 任务
AIME 2024	Avg@64	69.6	59.4^*	40.1^*	43.4	48.2	46.5	61.3
AIME 2025	Avg@64	49.5	46.7	24.7^*	33.1^*	33.9^*	37.0	46.6
MATH - 500	准确率	97.4	94.0^*	91.2^*	94.0	94.4	92.4	95.4
HMMT 2025	Avg@32	38.8	27.5	11.9	15.9	15.9	19.4	34.7
CNMO 2024	Avg@16	74.3	74.7	48.6	60.4	57.6	56.6	75.0
PolyMath - en	Avg@4	65.1	59.5	51.9	52.8	49.8	54.0	49.9
ZebraLogic	准确率	89.0	84.0	37.7^*	73.7	59.3	58.5	57.9
AutoLogi	准确率	89.5	88.9	83.3	89.8	86.1	88.2	84.1
GPQA - Diamond	Avg@8	75.1	68.4^*	62.9^*	70.0^*	74.9^*	66.3	68.2
SuperGPQA	准确率	57.2	53.7	50.2	55.7	56.5	50.8	49.6
Humanity's Last Exam (仅文本)	-	4.7	5.2	5.7	5.8	7.1	3.7	5.6
通用任务
MMLU	EM	89.5	89.4	87.0	91.5	92.9	90.4	90.1
MMLU - Redux	EM	92.7	90.5	89.2	93.6	94.2	92.4	90.6
MMLU - Pro	EM	81.1	81.2^*	77.3	83.7	86.6	81.8	79.4
IFEval	严格提示	89.8	81.1	83.2^*	87.6	87.4	88.0	84.3
Multi - Challenge	准确率	54.1	31.4	34.0	46.8	49.0	36.4	39.5
SimpleQA	正确	31.0	27.7	13.2	15.9	22.8	42.3	23.3
Livebench	Pass@1	76.4	72.4	67.6	74.8	74.6	69.8	67.8

^{• 加粗表示全球最优，下划线表示开源最优。}
^{• 标记为 * 的数据点直接取自模型的技术报告或博客。}
^{• 除 SWE - bench 验证（无智能体）外，所有指标均在 8k 输出标记长度下评估。SWE - bench 验证（无智能体）限制为 16k 输出标记长度。}
^{• Kimi K2 在使用 bash/编辑器工具的 SWE - bench 验证测试中，单次尝试补丁（无测试时计算）的通过率达到 65.8%。在相同条件下，SWE - bench 多语言测试的通过率为 47.3%。此外，我们还报告了利用并行测试时计算的 SWE - bench 验证测试结果（71.6%），通过采样多个序列并通过内部评分模型选择最佳序列。}
^{• 为确保评估的稳定性，我们在 AIME、HMMT、CNMO、PolyMath - en、GPQA - Diamond、EvalPlus、Tau2 上采用了 avg@k。}
^{• 由于评估成本过高，部分数据点已省略。}

基础模型评估结果

基准测试	指标	样本数量	Kimi K2 Base	Deepseek - V3 - Base	Qwen2.5 - 72B	Llama 4 Maverick
通用任务
MMLU	EM	5 - shot	87.8	87.1	86.1	84.9
MMLU - pro	EM	5 - shot	69.2	60.6	62.8	63.5
MMLU - redux - 2.0	EM	5 - shot	90.2	89.5	87.8	88.2
SimpleQA	正确	5 - shot	35.3	26.5	10.3	23.7
TriviaQA	EM	5 - shot	85.1	84.1	76.0	79.3
GPQA - Diamond	Avg@8	5 - shot	48.1	50.5	40.8	49.4
SuperGPQA	EM	5 - shot	44.7	39.2	34.2	38.8
编码任务
LiveCodeBench v6	Pass@1	1 - shot	26.3	22.9	21.1	25.1
EvalPlus	Pass@1	-	80.3	65.6	66.0	65.5
数学任务
MATH	EM	4 - shot	70.2	60.1	61.0	63.0
GSM8k	EM	8 - shot	92.1	91.7	90.4	86.3
中文任务
C - Eval	EM	5 - shot	92.5	90.0	90.9	80.9
CSimpleQA