Kanana 1.5 8b Instruct 2505

由 kakaocorp 开发

Kanana 1.5是Kanana模型家族的新版本，在编码、数学和函数调用能力方面相比前代有显著提升，支持32K tokens长度并可扩展至128K tokens。

大型语言模型

Transformers

支持多种语言

开源协议:Apache-2.0 #32K长文本处理 #双语指令优化 #数学编程增强

下载量 1,932

发布时间 : 5/21/2025

模型介绍

内容详情

替代品

模型简介

Kanana 1.5是一个双语(英语、韩语)大型语言模型，专注于文本生成任务，具有优化的后训练流程，能实现更自然准确的对话。

模型特点

32K+上下文长度

原生支持32K tokens长度，使用YaRN可扩展至128K tokens，适合处理长文档或进行长对话

增强的编码和数学能力

相比前代在编码、数学和函数调用能力方面有显著提升

优化的对话能力

通过优化的后训练流程，实现了更自然准确的对话

双语支持

同时支持英语和韩语处理

模型能力

文本生成

长文本处理

代码生成

数学推理

函数调用

双语对话

使用案例

对话系统

智能客服

用于构建支持长对话的智能客服系统

能保持长对话的连贯性

代码辅助

代码生成与补全

辅助程序员进行代码生成和补全

HumanEval+得分76.83

数学应用

数学问题求解

解决复杂的数学问题

GSM8K(0-shot)得分87.64

语言:

英语
韩语库名称: transformers 许可证: apache-2.0 流水线标签: 文本生成模型ID: kakaocorp/kanana-1.5-8b-instruct-2505 仓库: kakaocorp/kanana-1.5-8b-instruct-2505 开发者: Kanana LLM 训练机制: bf16混合精度

ü§ó 1.5 HF模型 | üìï 1.5博客 | üìú 技术报告

新闻 üî•

‚ú®2025/05/23: 发布了关于Kanana 1.5模型的博客文章并公开了ü§óHF模型权重。
üìú2025/02/27: 发布了技术报告和ü§óHF模型权重。
üìï2025/01/10: 发表了关于Kanana Nano模型开发的博客文章。
üìï2024/11/14: 发表了关于Kanana模型开发的博客文章(预训练, 后训练)。
‚ñ∂Ô∏è2024/11/06: 发布了关于Kanana模型开发的演示视频。

Kanana 1.5

Kanana 1.5是Kanana模型家族的新版本，在编码、数学和函数调用能力方面相比前代有显著提升，能够应用于更复杂的现实问题。新版本原生支持__32K tokens长度，使用YaRN可扩展至128K tokens__，使模型在处理长文档或进行长对话时保持连贯性。此外，通过__优化的后训练流程__，Kanana 1.5实现了更自然准确的对话。

[!注意] 预训练和后训练数据均不包含Kakao用户数据。

性能

基础模型评估

模型	MMLU	KMMLU	HAERAE	HumanEval	MBPP	GSM8K
Kanana-1.5-8B	64.24	48.94	82.77	61.59	57.80	63.53
Kanana-8B	64.22	48.30	83.41	40.24	51.40	57.09

指导模型评估

模型	MT-Bench	KoMT-Bench	IFEval	HumanEval+	MBPP+	GSM8K (0-shot)	MATH	MMLU (0-shot, CoT)	KMMLU (0-shot, CoT)	FunctionChatBench
Kanana-1.5-8B*	7.76	7.63	80.11	76.83	67.99	87.64	67.54	68.82	48.28	58.00
Kanana-8B	7.13	6.92	76.91	62.20	43.92	79.23	37.68	66.50	47.43	17.37

[!注意] * 根据Apache 2.0发布的模型相比其他模型训练了最新版本。

处理32K+长度

当前上传到HuggingFace的config.json配置为处理32,768或更短的token长度。要处理超过此长度的token，必须应用YaRN。通过更新config.json中的以下参数，可以应用YaRN处理长达128K的token序列：

"rope_scaling": {
    "factor": 4.4,
    "original_max_position_embeddings": 32768,
    "type": "yarn",
    "beta_fast": 64,
    "beta_slow": 2
},

贡献者

语言模型训练: 朴允珠, 郑道海, 金宝燮, 金娜妍, 李浩镇, 朴宰善, 柳旼镐
语言模型对齐: 咸智妍, 郑承宰, 金贤浩, 高贤雄, 李昌民, 南元泰
AI工程: 金有民, 金亨柱

引用

@misc{kananallmteam2025kananacomputeefficientbilinguallanguage,
      title={Kanana: 计算高效的双语语言模型}, 
      author={Kanana LLM团队和朴允珠和李浩镇和柳旼镐和咸智妍和郑承宰和南元泰和鱼泰京和李东勋和郑道海和金宝燮和金娜妍和朴宰善和金贤浩和高贤雄和李昌民和吴京云和裴秀礼和赵俊来和郑成熙和姜智恩和金恩华和金恩花和高秉日和Daniel Lee和李敏哲和李美玉和李信福和徐佳恩},
      year={2025},
      eprint={2502.18934},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18934}, 
}