🚀 SEA-LION-v1-3B

SEA-LION是一系列大语言模型（LLM），针对东南亚（SEA）地区进行了预训练和指令微调。这些模型的参数规模从30亿到70亿不等。本文档是关于SEA-LION-v1-3B的介绍。

SEA-LION代表着“将东南亚语言整合在一个网络中”。

📚 模型详情

🔍 模型描述

SEA-LION模型是自然语言处理领域的一次重大飞跃，专门针对东南亚地区的语境进行训练。

SEA-LION-v1-3B基于强大的MPT架构构建，词汇量为256K。

在分词方面，该模型采用了我们定制的SEABPETokenizer，它是专门为东南亚语言量身定制的，确保了模型的最佳性能。

SEA-LION-v1-3B的训练数据包含9800亿个token。

• 开发者：新加坡人工智能公司产品支柱团队
• 资助方：新加坡国家研究基金会
• 模型类型：解码器
• 支持语言：英语、中文、印尼语、马来语、泰语、越南语、菲律宾语、泰米尔语、缅甸语、高棉语、老挝语
• 许可证：MIT许可证

📊 性能基准

SEA-LION-v1-3B在英语通用任务上的平均表现（根据Hugging Face的大语言模型排行榜衡量）如下：

🔬 训练详情

📈 数据

SEA-LION-v1-3B在以下9800亿个token的数据上进行训练：

🖥️ 基础设施

SEA-LION-v1-3B使用MosaicML Composer在以下硬件上进行训练：

⚙️ 配置

🛠️ 技术规格

📐 模型架构与目标

SEA-LION-v1-3B是一个基于MPT架构的解码器模型。

📋 分词器详情

我们从训练数据中抽取了2000万行来训练分词器。 训练框架为SentencePiece。 分词器类型为字节对编码（BPE）。

👥 团队成员

Lam Wen Zhi Clarence
Leong Wei Qi
Li Yier
Liu Bing Jie Darius
Lovenia Holy
Montalan Jann Railey
Ng Boon Cheong Raymond
Ngui Jian Gang
Nguyen Thanh Ngan
Ong Tat-Wee David
Rengarajan Hamsawardhini
Susanto Yosephine
Tai Ngee Chia
Tan Choon Meng
Teo Jin Howe
Teo Eng Sipp Leslie
Teo Wei Yi
Tjhi William
Yeo Yeow Tong
Yong Xianbin

🙏 致谢

新加坡人工智能是由新加坡国家研究基金会支持的国家项目，由新加坡国立大学主办。本材料中表达的任何观点、研究结果、结论或建议均为作者个人观点，不反映新加坡国家研究基金会的意见。

📞 联系我们

如需更多信息，请通过SEA-LION咨询表单与我们联系。

SEA-LION的GitHub仓库链接

⚠️ 免责声明

这是基础模型的仓库。该模型尚未进行安全对齐。开发者和用户应自行进行安全微调及相关安全措施。在任何情况下，作者均不对因使用发布的权重和代码而产生的任何索赔、损害或其他责任负责。

📚 参考文献

泰语预训练数据参考文献

@misc{lowphansirikul2021wangchanberta,
    title={WangchanBERTa: Pretraining transformer-based Thai Language Models},
    author={Lalita Lowphansirikul and Charin Polpanumas and Nawat Jantrakulchai and Sarana Nutanong},
    year={2021},
    eprint={2101.09635},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}