Kanana 1.5 2.1b Instruct 2505

由 kakaocorp 开发

Kanana 1.5是Kakao开发的双语大语言模型，在编程、数学和函数调用能力方面有显著提升，支持32K tokens上下文长度，通过YaRN扩展技术可处理128K tokens超长文本。

大型语言模型

Transformers

支持多种语言

开源协议:Apache-2.0 #双语指令优化 #超长上下文处理 #编程数学增强

下载量 1,361

发布时间 : 5/21/2025

模型介绍

内容详情

替代品

模型简介

Kanana 1.5是一个高效计算的双语大语言模型，专注于提升编程、数学和函数调用能力，适用于复杂场景和长文本处理。

模型特点

增强的编程能力

在HumanEval和MBPP等编程基准测试中表现优异

数学推理能力

在GSM8K和MATH等数学基准测试中取得高分

长文本处理

原生支持32K tokens上下文长度，通过YaRN扩展可处理128K tokens

双语支持

同时支持英语和韩语处理

优化的对话能力

经过优化的后训练流程使对话响应更加自然精准

模型能力

文本生成

代码生成

数学问题解答

长文本理解

双语处理

指令跟随

使用案例

编程辅助

代码生成

根据自然语言描述生成代码

在HumanEval测试中达到68.90分

代码补全

基于上下文自动补全代码

在MBPP+测试中达到65.08分

数学应用

数学问题解答

解决复杂的数学问题

在GSM8K零样本测试中达到81.43分

对话系统

智能客服

提供自然流畅的双语客服对话

在MT-Bench测试中达到7.01分

language:

英语
韩语 library_name: transformers license: apache-2.0 pipeline_tag: 文本生成 model_id: kakaocorp/kanana-1.5-2.1b-instruct-2505 repo: kakaocorp/kanana-1.5-2.1b-instruct-2505 developers: Kanana大语言模型团队 training_regime: bf16混合精度训练

ü§ó 1.5版本HF模型 | üìï 1.5技术博客 | üìú 技术白皮书

动态 üî•

‚ú®2025/05/23: 发布关于Kanana 1.5模型的技术博客并开放ü§óHF模型权重。
üìú2025/02/27: 发布技术白皮书和ü§óHF模型权重。
üìï2025/01/10: 发布关于Kanana Nano模型研发的技术博客。
üìï2024/11/14: 发布关于Kanana模型研发的系列博客(预训练篇、后训练篇)。
‚ñ∂Ô∏è2024/11/06: 发布Kanana模型研发的主题演讲视频。

Kanana 1.5

Kanana 1.5作为该模型家族的新版本，在编程、数学和函数调用能力方面实现显著提升，可应用于更复杂的现实场景。新版本原生支持__32K tokens上下文长度__，通过YaRN扩展技术更可处理__128K tokens超长文本__，确保处理长文档或持续对话时的连贯性。此外，经过__优化的后训练流程__使对话响应更加自然精准。

[!重要说明] 本模型的预训练与后训练数据均未包含Kakao用户数据。

性能表现

基础模型评估

模型	MMLU	KMMLU	HAERAE	HumanEval	MBPP	GSM8K
Kanana-1.5-2.1B	56.30	45.10	77.46	52.44	47.00	55.95
Kanana-Nano-2.1B	54.83	44.80	77.09	31.10	46.20	46.32

指令模型评估

模型	MT-Bench	KoMT-Bench	IFEval	HumanEval+	MBPP+	GSM8K (零样本)	MATH	MMLU (零样本,思维链)	KMMLU (零样本,思维链)	FunctionChatBench
Kanana-1.5-2.1B*	7.01	6.54	68.61	68.90	65.08	81.43	60.62	53.87	32.93	53.70
Kanana-Nano-2.1B	6.40	5.90	71.97	63.41	62.43	72.32	29.26	52.48	38.51	26.10

[!说明] * 依据Apache 2.0协议发布的模型采用最新版本训练数据。

贡献者

语言模型训练组: 朴允珠, 郑度海, 金宝燮, 金娜妍, 李虎镇, 朴在善, 柳敏浩
语言模型对齐组: 咸志娟, 郑承宰, 金贤浩, 高贤雄, 李昌敏, 南元泰
AI工程组: 金有民, 金亨柱

引用规范

@misc{kananallmteam2025kananacomputeefficientbilinguallanguage,
      title={Kanana: 高效计算的双语大语言模型}, 
      author={Kanana大语言模型团队 and 朴允珠 and 李虎镇 and 柳敏浩 and 咸志娟 and 郑承宰 and 南元泰 and 鱼泰京 and 李东勋 and 郑度海 and 金宝燮 and 金娜妍 and 朴在善 and 金贤浩 and 高贤雄 and 李昌敏 and 吴京云 and 白瑟礼 and 曹俊来 and 郑成熙 and 姜知恩 and 金恩奎 and 金恩和 and 高炳日 and 李丹尼尔 and 李敏哲 and 李美玉 and 李信福 and 徐佳恩},
      year={2025},
      eprint={2502.18934},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18934}, 
}