许可证：lgpl-3.0

BigTranslate：为大型语言模型增强100多种语言的多语种翻译能力

大型语言模型（LLMs）在多种自然语言间展现出卓越的翻译潜力。然而，许多LLMs（尤其是开源模型如BLOOM和LLaMA）以英语为主导，仅支持数十种自然语言，这使得LLMs在语言翻译领域的潜力尚未充分挖掘。本研究推出的BigTranslate基于仅覆盖20种语言的LLaMA模型，通过技术增强使其具备100多种语言的多语种翻译能力。

BigTranslate以LLaMA-13B为基础架构，通过三阶段优化实现：

1. 中文单语数据增强：使用海量中文单语语料对LLaMA进行持续训练
2. 百种语言平行语料训练：利用覆盖102种自然语言的大规模平行数据集进行模型再训练
3. 多语种翻译指令微调：通过翻译指令对基础模型进行指令微调，最终形成BigTranslate模型

初步的多语种翻译实验表明，BigTranslate在多数语言上的表现与ChatGPT和谷歌翻译相当，甚至在8组语言对的翻译任务中超越ChatGPT。我们公开BigTranslate模型，期待推动相关领域的研究进展。

更多细节详见
https://github.com/ZNLP/BigTranslate
https://arxiv.org/abs/2305.18098