language:

• 英文
• 韩文 library_name: transformers license: apache-2.0 pipeline_tag: 文本生成 model_id: kakaocorp/kanana-1.5-8b-base repo: kakaocorp/kanana-1.5-8b-base developers: Kanana大语言模型团队 training_regime: bf16混合精度训练

ü§ó 1.5版本HF模型   |   üìï 1.5技术博客   |   üìú 技术白皮书

最新动态 üî•

• ‚ú®2025/05/23: 发布关于Kanana 1.5模型的技术博客并开放ü§óHF模型权重
• üìú2025/02/27: 发布技术白皮书和ü§óHF模型权重
• üìï2025/01/10: 发布关于Kanana Nano模型开发的技术博客
• üìï2024/11/14: 发布关于Kanana模型开发的系列博客(预训练篇、后训练篇)
• ‚ñ∂Ô∏è2024/11/06: 发布关于Kanana模型开发的演示视频

目录

• Kanana 1.5
  • 性能表现
    • 基础模型评估
    • 指令模型评估
  • 32K+长文本处理
• 贡献者
• 引用方式
• 联系我们

Kanana 1.5

Kanana 1.5作为Kanana模型家族的新版本，在编程、数学和函数调用能力方面较前代有显著提升，能够应用于更复杂的现实场景。新版本原生支持__32K tokens上下文长度__，通过YaRN扩展技术更可处理__128K tokens超长文本__，使其在处理长文档或持续对话时保持连贯性。此外，经过__优化的后训练流程__，Kanana 1.5能实现更自然精准的对话交互。

[!重要说明] 模型的预训练和后训练数据均未包含Kakao用户数据

性能表现

基础模型评估

指令模型评估

[!注意] * 依据Apache 2.0协议发布的模型采用最新版本训练

32K+长文本处理

当前HuggingFace上的config.json配置文件默认支持32,768 tokens长度。如需处理更长文本，需应用YaRN技术。通过修改config.json如下参数，可扩展至128K tokens处理能力：

"rope_scaling": {
    "factor": 4.4,
    "original_max_position_embeddings": 32768,
    "type": "yarn",
    "beta_fast": 64,
    "beta_slow": 2
},

贡献者

• 语言模型训练组: 朴允珠, 郑道海, 金宝燮, 金娜妍, 李虎镇, 朴在善, 柳敏浩
• 语言模型对齐组: 咸志娟, 郑承在, 金贤浩, 高贤雄, 李昌敏, 南元泰
• AI工程组: 金有民, 金亨柱

引用方式

@misc{kananallmteam2025kananacomputeefficientbilinguallanguage,
      title={Kanana: 高效计算的双语大语言模型}, 
      author={Kanana大语言模型团队 and 朴允珠 and 李虎镇 and 柳敏浩 and 咸志娟 and 郑承在 and 南元泰 and 鱼泰京 and 李东勋 and 郑道海 and 金宝燮 and 金娜妍 and 朴在善 and 金贤浩 and 高贤雄 and 李昌敏 and 吴京云 and 白雪礼 and 赵俊来 and 郑成熙 and 姜智恩 and 金应均 and 金恩和 and 高炳日 and 李丹尼尔 and 李敏哲 and 李美玉 and 李信福 and 徐佳恩},
      year={2025},
      eprint={2502.18934},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18934}, 
}

联系我们

• 技术支持: kanana-llm@kakaocorp.com
• 商务合作: alpha.k@kakaocorp.com