Kanana 1.5 2.1b Base

由 kakaocorp 开发

Kanana 1.5是Kanana模型家族的新版本，在编码、数学和函数调用能力方面有显著提升，支持32K tokens长度并可扩展至128K tokens。

大型语言模型

Transformers

支持多种语言

开源协议:Apache-2.0 #双语文本生成 #长上下文处理 #代码数学增强

下载量 757

发布时间 : 4/15/2025

模型介绍

内容详情

替代品

模型简介

Kanana 1.5是一个计算高效的双语语言模型，优化了后训练流程，实现了更自然、更准确的对话，适用于处理复杂现实问题和长文档。

模型特点

增强的编码和数学能力

相比前一版本在编码、数学和函数调用能力方面有显著提升

长上下文支持

原生支持32K tokens长度，使用YaRN可扩展至128K tokens

优化的对话体验

通过优化的后训练流程，实现更自然、更准确的对话

双语支持

同时支持英语和韩语处理

模型能力

文本生成

长文档处理

代码生成

数学问题解决

函数调用

双语对话

使用案例

复杂问题解决

编程问题解答

帮助开发者解决编程问题和代码调试

HumanEval评分52.44，MBPP评分47.00

数学问题解答

解决数学问题和推导

GSM8K评分55.95

长文档处理

长文档摘要

处理和分析长文档内容

支持32K tokens原生长度，可扩展至128K tokens

双语应用

英韩翻译

英语和韩语之间的翻译任务

语言:

英语
韩语库名称: transformers 许可证: apache-2.0 管道标签: 文本生成模型ID: kakaocorp/kanana-1.5-2.1b-base 仓库: kakaocorp/kanana-1.5-2.1b-base 开发者: Kanana LLM 训练机制: bf16混合精度

ü§ó 1.5 HF模型 | üìï 1.5博客 | üìú 技术报告

新闻 üî•

‚ú®2025/05/23: 发布了关于Kanana 1.5模型的博客文章，并发布了ü§óHF模型权重。
üìú2025/02/27: 发布了技术报告和ü§óHF模型权重。
üìï2025/01/10: 发布了关于Kanana Nano模型开发的博客文章。
üìï2024/11/14: 发布了关于Kanana模型开发的博客文章(预训练, 后训练)。
‚ñ∂Ô∏è2024/11/06: 发布了关于Kanana模型开发的演示视频。

Kanana 1.5

Kanana 1.5是Kanana模型家族的新版本，在编码、数学和函数调用能力方面相比前一版本有显著提升，能够应用于更复杂的现实问题。新版本原生支持__32K tokens长度，使用YaRN可扩展至128K tokens__，使模型在处理长文档或进行长时间对话时保持连贯性。此外，Kanana 1.5通过__优化的后训练流程__，实现了更自然、更准确的对话。

[!注意] 预训练和后训练数据均不包含Kakao用户数据。

性能

基础模型评估

模型	MMLU	KMMLU	HAERAE	HumanEval	MBPP	GSM8K
Kanana-1.5-2.1B	56.30	45.10	77.46	52.44	47.00	55.95
Kanana-Nano-2.1B	54.83	44.80	77.09	31.10	46.20	46.32

指导模型评估

模型	MT-Bench	KoMT-Bench	IFEval	HumanEval+	MBPP+	GSM8K (0-shot)	MATH	MMLU (0-shot, CoT)	KMMLU (0-shot, CoT)	FunctionChatBench
Kanana-1.5-2.1B*	7.01	6.54	68.61	68.90	65.08	81.43	60.62	53.87	32.93	53.70
Kanana-Nano-2.1B	6.40	5.90	71.97	63.41	62.43	72.32	29.26	52.48	38.51	26.10

[!注意] * 根据Apache 2.0发布的模型相比其他模型训练于最新版本。

贡献者

语言模型训练: Yunju Bak, Doohae Jung, Boseop Kim, Nayeon Kim, Hojin Lee, Jaesun Park, Minho Ryu
语言模型对齐: Jiyeon Ham, Seungjae Jung, Hyunho Kim, Hyunwoong Ko, Changmin Lee, Daniel Wontae Nam
AI工程: Youmin Kim, Hyeongju Kim

引用

@misc{kananallmteam2025kananacomputeefficientbilinguallanguage,
      title={Kanana: 计算高效的双语语言模型}, 
      author={Kanana LLM团队和Yunju Bak和Hojin Lee和Minho Ryu和Jiyeon Ham和Seungjae Jung和Daniel Wontae Nam和Taegyeong Eo和Donghun Lee和Doohae Jung和Boseop Kim和Nayeon Kim和Jaesun Park和Hyunho Kim和Hyunwoong Ko和Changmin Lee和Kyoung-Woon On和Seulye Baeg和Junrae Cho和Sunghee Jung和Jieun Kang和EungGyun Kim和Eunhwa Kim和Byeongil Ko和Daniel Lee和Minchul Lee和Miok Lee和Shinbok Lee和Gaeun Seo},
      year={2025},
      eprint={2502.18934},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18934}, 
}