language:

• 英文
• 韩文 library_name: transformers license: cc-by-nc-4.0 pipeline_tag: text-generation model_id: kakaocorp/kanana-nano-2.1b-base repo: kakaocorp/kanana-nano-2.1b-base developers: Kanana大语言模型 training_regime: bf16混合精度 model-index:
• name: kanana-nano-2.1b-base results:
  • task: type: 多选题 name: mmlu dataset: name: mmlu (5样本) type: hails/mmlu_no_train metrics:
    • type: 准确率 value: 54.83 name: 准确率
  • task: type: 生成任务 name: kmmlu dataset: name: kmmlu直接测试 (5样本) type: HAERAE-HUB/KMMLU metrics:
    • type: 精确匹配 value: 44.83 name: 精确匹配
  • task: type: 多选题 name: haerae dataset: name: haerae (5样本) type: HAERAE-HUB/HAE_RAE_BENCH metrics:
    • type: 标准化准确率 value: 77.09 name: 标准化准确率
  • task: type: 生成任务 name: gsm8k dataset: name: gsm8k (5样本) type: openai/gsm8k metrics:
    • type: 严格精确匹配 value: 46.32 name: 严格精确匹配
  • task: type: 生成任务 name: humaneval dataset: name: humaneval (0样本) type: openai/openai_humaneval metrics:
    • type: 通过率@1 value: 31.10 name: 通过率@1
  • task: type: 生成任务 name: mbpp dataset: name: mbpp (3样本) type: google-research-datasets/mbpp metrics:
    • type: 通过率@1 value: 46.20 name: 通过率@1

Kanana大语言模型

🤗 模型库   |   📕 技术博客   |   📜 技术报告 |   💻 GitHub代码库

模型介绍

我们推出Kanana系列双语大语言模型（由Kakao开发），该系列模型在韩语任务上展现卓越性能，同时在英语任务上保持竞争力。相比同规模的最先进模型，Kanana显著降低了计算成本。技术报告详细阐述了预训练阶段采用的高效技术方案，包括高质量数据过滤、分阶段预训练、深度扩展以及剪枝与蒸馏。此外，报告还介绍了Kanana模型的后训练方法，涵盖监督微调和偏好优化，旨在提升模型与用户交互的自然流畅度。最后，报告阐述了针对特定场景的语言模型适配方案，如嵌入表示、函数调用和检索增强生成(RAG)。Kanana模型系列参数规模从21亿到325亿不等，其中21亿参数的基础模型、指令模型、嵌入模型、函数调用模型和RAG模型已公开发布，以促进韩语大语言模型的研究发展。

[!重要说明] 本模型的预训练和后训练数据均未包含任何Kakao用户数据。

目录

• 最新动态
• 性能表现
• 快速开始
• 许可协议
• 引用方式
• 贡献团队
• 联系我们

最新动态

• 📜2025/02/27: 发布技术报告和🤗HuggingFace模型权重
• 📕2025/01/10: 发布Kanana-Nano模型开发博客 (Kanana-Nano)
• 📕2024/11/14: 发布Kanana模型系列开发博客 (Kanana大语言模型：预训练篇, Kanana大语言模型：后训练篇)
• ▶️2024/11/06: 发布Kanana模型开发主题演讲视频 (if(kakaoAI)2024)

性能表现

以下是Kanana模型系列的部分性能评估结果，完整结果请参阅技术报告。

预训练模型性能

模型	MMLU	KMMLU	HAERAE	HumanEval	MBPP	GSM8K
270亿+参数规模
Kanana-Flag-32.5b	77.68	62.10	90.47	51.22	63.40	70.05
Qwen2.5-32b	83.10	63.15	75.16	50.00	73.40	82.41
Gemma-2-27b	75.45	51.16	69.11	51.22	64.60	74.37
EXAONE-3.5-32b	72.68	46.36	82.22	-	-	-
Aya-Expanse-32b	74.52	49.57	80.66	-	-	-
70亿+参数规模
Kanana-Essence-9.8b	67.61	50.57	84.98	40.24	53.60	63.61
Llama-3.1-8b	65.18	41.02	61.78	35.37	48.60	50.87
Qwen2.5-7b	74.19	51.68	67.46	56.71	63.20	83.85
Gemma-2-9b	70.34	48.18	66.18	37.20	53.60	68.16
EXAONE-3.5-7.8b	65.36	45.30	77.54	-	-	-
Aya-Expanse-8b	62.52	40.11	71.95	-	-	-
20亿+参数规模
Kanana-Nano-2.1b	54.83	44.80	77.09	31.10	46.20	46.32
Llama-3.2-3b	56.40	35.57	47.66	25.61	39.00	27.37
Qwen2.5-3b	65.57	45.28	61.32	37.80	55.60	69.07
Gem Phi 2 GGUF 其他 Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。 大型语言模型 支持多种语言 P TheBloke 41.5M 205 Roberta Large MIT 基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法 大型语言模型 英语 R FacebookAI 19.4M 212 Distilbert Base Uncased Apache-2.0 DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。 大型语言模型 英语 D distilbert 11.1M 669 Llama 3.1 8B Instruct GGUF Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。 大型语言模型 英语 L modularai 9.7M 4 Xlm Roberta Base MIT XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。 大型语言模型 支持多种语言 X FacebookAI 9.6M 664 Roberta Base MIT 基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调 大型语言模型 英语 R FacebookAI 9.3M 488 Opt 125m 其他 OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。 大型语言模型 英语 O facebook 6.3M 198 Llama 3.1 8B Instruct Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。 大型语言模型 Transformers 支持多种语言 L meta-llama 5.7M 3,898 T5 Base Apache-2.0 T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。 大型语言模型 支持多种语言 T google-t5 5.4M 702 Xlm Roberta Large MIT XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。 大型语言模型 支持多种语言 X FacebookAI 5.3M 431 精选推荐AI模型 Llama 3 Typhoon V1.5x 8b Instruct 专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务 大型语言模型 Transformers 支持多种语言 L scb10x 3,269 16 Cadet Tiny Openrail Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。 对话系统 Transformers 英语 C ToddGoldfarb 2,691 6 Roberta Base Chinese Extractive Qa 基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。 问答系统 中文 R uer 2,694 98 AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。 简体中文 热门模型 Llama 3 Typhoon V1.5x 8b Instruct Cadet Tiny Roberta Base Chinese Extractive Qa 热门模型分类 大型语言模型 图像生成 语音识别 图像分类 文本嵌入 文本分类 机器翻译 全部分类 热门标签 多语言支持 低资源优化 低词错误率 高准确率 基于Transformer 轻量级BERT SentencePiece预处理 © 2025AIbase 备案号：闽ICP备08105208号-24 网站地图 用户协议 隐私政策