语言:

• 英文
• 韩文 库名称: transformers 许可证: cc-by-nc-4.0 流水线标签: 文本生成 模型ID: kakaocorp/kanana-nano-2.1b-embedding 仓库: kakaocorp/kanana-nano-2.1b-embedding 开发者: Kanana LLM 训练机制: bf16混合精度

Kanana

🤗 模型   |   📕 博客   |   📜 技术报告 |   💻 Github

简介

我们推出Kanana系列双语语言模型（由Kakao开发），在韩语表现卓越，英语表现具有竞争力。Kanana的计算成本显著低于同类规模的顶尖模型。报告详细介绍了预训练阶段采用的技术，包括高质量数据过滤、分阶段预训练、深度扩展、剪枝与蒸馏，以实现计算高效且具竞争力的模型。此外，报告概述了Kanana模型后训练阶段的方法论，涵盖监督微调与偏好优化，旨在增强其与用户无缝交互的能力。最后，报告阐述了语言模型适应特定场景的可行方法，如嵌入、函数调用和检索增强生成（RAG）。Kanana模型系列参数规模从21亿到325亿不等，其中21亿参数模型（基础版、指令版、嵌入版、函数调用版和RAG版）已公开发布，以促进韩语语言模型的研究。

[!注意] 预训练和后训练数据均不包含Kakao用户数据。

目录

• 新闻
• 性能
• 快速开始
• 许可证
• 引用
• 贡献者
• 联系方式

新闻

• 📜2025/02/27: 发布技术报告和🤗HF模型权重。
• 📕2025/01/10: 发布关于Kanana-Nano模型开发的博客文章。(Kanana-Nano)
• 📕2024/11/14: 发布关于Kanana模型开发的博客文章。(Kanana LLM: 预训练, Kanana LLM: 后训练)
• ▶️2024/11/06: 发布关于Kanana模型开发的演示视频。(if(kakaoAI)2024)

性能

以下是Kanana模型系列的部分性能报告。完整结果请参阅技术报告。

预训练模型性能

后训练模型性能

指令跟随基准

模型	MT-Bench	LogicKor	Phi 2 GGUF 其他 Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。 大型语言模型 支持多种语言 P TheBloke 41.5M 205 Roberta Large MIT 基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法 大型语言模型 英语 R FacebookAI 19.4M 212 Distilbert Base Uncased Apache-2.0 DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。 大型语言模型 英语 D distilbert 11.1M 669 Llama 3.1 8B Instruct GGUF Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。 大型语言模型 英语 L modularai 9.7M 4 Xlm Roberta Base MIT XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。 大型语言模型 支持多种语言 X FacebookAI 9.6M 664 Roberta Base MIT 基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调 大型语言模型 英语 R FacebookAI 9.3M 488 Opt 125m 其他 OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。 大型语言模型 英语 O facebook 6.3M 198 Llama 3.1 8B Instruct Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。 大型语言模型 Transformers 支持多种语言 L meta-llama 5.7M 3,898 T5 Base Apache-2.0 T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。 大型语言模型 支持多种语言 T google-t5 5.4M 702 Xlm Roberta Large MIT XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。 大型语言模型 支持多种语言 X FacebookAI 5.3M 431 精选推荐AI模型 Llama 3 Typhoon V1.5x 8b Instruct 专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务 大型语言模型 Transformers 支持多种语言 L scb10x 3,269 16 Cadet Tiny Openrail Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。 对话系统 Transformers 英语 C ToddGoldfarb 2,691 6 Roberta Base Chinese Extractive Qa 基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。 问答系统 中文 R uer 2,694 98 AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。 简体中文 热门模型 Llama 3 Typhoon V1.5x 8b Instruct Cadet Tiny Roberta Base Chinese Extractive Qa 热门模型分类 大型语言模型 图像生成 语音识别 图像分类 文本嵌入 文本分类 机器翻译 全部分类 热门标签 多语言支持 低资源优化 低词错误率 高准确率 基于Transformer 轻量级BERT SentencePiece预处理 © 2025AIbase 备案号：闽ICP备08105208号-24 网站地图 用户协议 隐私政策