许可证: mit 语言:

• 英文
• 中文
• 印尼语
• 马来语
• 菲律宾语
• 缅甸语
• 越南语
• 泰语
• 老挝语
• 高棉语
• 泰米尔语

SEA-LION-v1-3B

SEA-LION是一系列大型语言模型(LLMs)的集合，专为东南亚(SEA)地区进行预训练和指令调优。模型参数规模从30亿到70亿不等。本卡片介绍的是SEA-LION-v1-3B版本。

SEA-LION是东南亚语言一体化网络(Southeast Asian Languages In One Network)的缩写。

模型详情

模型描述

SEA-LION模型是自然语言处理领域的重要突破，专门针对东南亚区域语境进行训练。

SEA-LION-v1-3B基于强大的MPT架构构建，词汇量达256K。

该模型采用我们定制的SEABPETokenizer进行分词，该分词器专为东南亚语言优化，确保最佳模型性能。

SEA-LION-v1-3B的训练数据包含9800亿token。

• 开发机构: 新加坡AI产品支柱团队
• 资助方: 新加坡国家研究基金会(NRF)
• 模型类型: 解码器
• 支持语言: 英语、中文、印尼语、马来语、泰语、越南语、菲律宾语、泰米尔语、缅甸语、高棉语、老挝语
• 许可证: MIT许可证

性能基准

SEA-LION-v1-3B在英语通用任务上的平均表现(根据Hugging Face的LLM排行榜测量):

训练详情

数据

SEA-LION-v1-3B的训练使用了9800亿token的以下数据:

基础设施

SEA-LION-v1-3B使用MosaicML Composer在以下硬件上训练:

配置

技术规格

模型架构与目标

SEA-LION-v1-3B是采用MPT架构的解码器模型。

分词器详情

我们从训练数据中采样2000万行来训练分词器。
训练框架采用SentencePiece。
分词器类型为字节对编码(BPE)。