language:

• 英文
• 韩文 library_name: transformers license: cc-by-nc-4.0 pipeline_tag: text-generation model_id: kakaocorp/kanana-nano-2.1b-instruct repo: kakaocorp/kanana-nano-2.1b-instruct developers: Kanana 大语言模型团队 training_regime: bf16 混合精度训练

Kanana

🤗 模型库   |   📕 技术博客   |   📜 技术报告 |   💻 GitHub

简介

我们推出Kanana系列双语大语言模型（由Kakao开发），该系列模型在韩语任务上表现卓越，在英语任务上具备竞争力。相比同规模的主流模型，Kanana显著降低了计算成本。技术报告详细阐述了预训练阶段采用的高效计算技术，包括高质量数据过滤、分阶段预训练、深度扩展、剪枝与蒸馏等。此外，报告还介绍了模型后训练阶段采用的监督微调与偏好优化方法，以增强模型与用户交互的能力。最后，报告阐述了针对特定场景（如嵌入、函数调用和检索增强生成RAG）的模型适配方法。Kanana系列模型参数量从21亿到325亿不等，其中21亿参数的基础版、指令版、嵌入版、函数调用版和RAG版已开源，以促进韩语大模型研究发展。

[!注意] 模型预训练与后训练数据均未使用Kakao用户数据。

目录

• 最新动态
• 性能表现
• 快速开始
• 许可协议
• 引用方式
• 贡献者
• 联系我们

最新动态

• 📜2025/02/27: 发布技术报告与🤗HuggingFace模型权重
• 📕2025/01/10: 发布Kanana-Nano模型开发博客 (Kanana-Nano)
• 📕2024/11/14: 发布Kanana模型开发系列博客 (Kanana LLM: 预训练篇, Kanana LLM: 后训练篇)
• ▶️2024/11/06: 发布Kanana模型开发主题演讲视频 (if(kakaoAI)2024)

性能表现

以下是Kanana模型系列的部分性能数据，完整结果请参阅技术报告。

预训练模型性能

后训练模型性能

指令跟随基准

通用基准测试

嵌入模型性能

快速开始

🤗 HuggingFace Transformers

• 需安装transformers>=4.45.0或最新版本

pip install transformers>=4.45.0

kanana-nano-2.1b-instruct使用示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "kakaocorp/kanana-nano-2.1b-instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
).to("cuda")
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "将以下日期转换为YYYY/MM/DD格式：\n12/31/2021\n02-01-22"
messages = [
    {"role": "system", "content": "你是由Kakao开发的AI助手"},
    {"role": "user", "content": prompt}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
).to("cuda")

_ = model.eval()
with torch.no_grad():
    output = model.generate(
        input_ids,
        max_new_tokens=72,
        do_sample=False,
    )

print(tokenizer.decode(output[0], skip_special_tokens=True))

# 输出示例：
# 已按要求转换日期格式：
# 1. **12/31/2021**
#    - **YYYY/MM/DD:** 2021/12/31
# 2. **02-01-22**
#    - **YYYY/MM/DD:** 2022/02/01

许可协议

Kanana模型采用CC-BY-NC-4.0许可协议。

引用

@misc{kananallmteam2025kananacomputeefficientbilinguallanguage,
      title={Kanana：高效计算的双语大语言模型}, 
      author={Kanana大模型团队及合作者名单},
      year={2025},
      eprint={2502.18934},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18934}, 
}

贡献者

• 预训练组：白允珠、郑都海、金宝燮、金娜妍、李虎珍、朴宰成、柳珉豪
• 后训练组：咸知娟、丁世才、金贤浩、高贤雄、李昌民、南元泰、吴庆云
• 适配组：白瑟礼、赵俊来、鱼泰京、郑成熙、姜智恩、金应建、金恩和、高炳日、李丹尼尔、李东勋、李敏哲、李美玉、李信福、柳珉豪、徐佳恩

联系我们

• 技术支持：kanana-llm@kakaocorp.com
• 商务合作：alpha.k@kakaocorp.com