🚀 PhoGPT：越南语生成式预训练模型

我们开源了一系列先进的40亿参数越南语生成式模型，其中包括基础预训练单语模型PhoGPT - 4B及其聊天变体PhoGPT - 4B - Chat。基础模型PhoGPT - 4B确切包含37亿参数，它在一个包含1020亿越南语标记的语料库上从头开始预训练，上下文长度为8192，使用的词汇表包含20480种标记类型。聊天变体PhoGPT - 4B - Chat是在包含7万个指令提示及其回复，以及额外29万个对话的数据集上对PhoGPT - 4B进行微调后得到的模型输出。我们证明了它与之前的开源模型相比具有更出色的性能。有关PhoGPT的总体架构和实验结果的更多详细信息，请参阅我们的技术报告：

@article{PhoGPT,
title     = {{PhoGPT: Generative Pre-training for Vietnamese}},
author    = {Dat Quoc Nguyen and Linh The Nguyen and Chi Tran and Dung Ngoc Nguyen and Dinh Phung and Hung Bui},
journal   = {arXiv preprint},
volume    = {arXiv:2311.02945},
year      = {2023}
}

请在使用PhoGPT帮助产生已发表的研究成果或将其集成到其他软件中时引用我们的技术报告。

如需更多信息或有相关需求，请访问PhoGPT主页！

📄 许可证

本项目采用BSD 3条款许可证。