语言:

• 中文
• 藏语
• 哈萨克语
• 朝鲜语
• 蒙语
• 维吾尔语
• 粤语 许可证: "apache-2.0"

CINO：面向中国少数民族语言的预训练模型

以mBERT、XLM-R为代表的多语言预训练模型为跨语言理解提供了强大支持。近年来多语言预训练模型发展迅速，但针对中国少数民族语言的预训练模型研究仍属空白，制约了相关自然语言处理系统的开发。

为填补这一空白，哈工大讯飞联合实验室（HFL）推出CINO（Chinese-miNOrity预训练语言模型）。该模型基于XLM-R架构，通过持续预训练技术融合了包括：

• 中文（zh）
• 藏语（bo）
• 蒙语（回鹘式蒙古文，mn）
• 维吾尔语（ug）
• 哈萨克语（阿拉伯字母形式，kk）
• 朝鲜语（ko）
• 壮语
• 粤语（yue）

在内的少数民族语料。更多技术细节请访问GitHub项目页（中文）：https://github.com/ymcui/Chinese-Minority-PLM

您可能还对以下项目感兴趣：

中文MacBERT：https://github.com/ymcui/MacBERT
中文BERT系列：https://github.com/ymcui/Chinese-BERT-wwm
中文ELECTRA：https://github.com/ymcui/Chinese-ELECTRA
中文XLNet：https://github.com/ymcui/Chinese-XLNet
知识蒸馏工具包TextBrewer：https://github.com/airaria/TextBrewer

更多HFL资源：https://github.com/ymcui/HFL-Anthology