语言:

• 中文 标签:
• bert 许可证: "apache-2.0"

请使用'Bert'相关功能加载此模型！

中文小型预训练模型MiniRBT

为了进一步推动中文信息处理的研究与发展，我们基于自研的知识蒸馏工具TextBrewer，结合全词掩码技术（Whole Word Masking）和知识蒸馏技术（Knowledge Distillation），推出了中文小型预训练模型MiniRBT。

本代码库基于以下项目开发：https://github.com/iflytek/MiniRBT

您可能还对以下项目感兴趣：

• 中文LERT模型：https://github.com/ymcui/LERT
• 中文PERT模型：https://github.com/ymcui/PERT
• 中文MacBERT模型：https://github.com/ymcui/MacBERT
• 中文ELECTRA模型：https://github.com/ymcui/Chinese-ELECTRA
• 中文XLNet模型：https://github.com/ymcui/Chinese-XLNet
• 知识蒸馏工具包TextBrewer：https://github.com/airaria/TextBrewer

更多HFL资源：https://github.com/iflytek/HFL-Anthology