language:

• zh tags:
• bert license: "apache-2.0"

请使用'Bert'相关函数加载本模型！

中文小型预训练模型MiniRBT

为持续推进中文信息处理的研究与发展，我们基于自研的知识蒸馏工具TextBrewer，结合全词掩码技术（Whole Word Masking）与知识蒸馏技术（Knowledge Distillation），推出了中文小型预训练模型MiniRBT。

本仓库基于以下项目开发：https://github.com/iflytek/MiniRBT

您可能还对以下项目感兴趣：

• 中文LERT模型：https://github.com/ymcui/LERT
• 中文PERT模型：https://github.com/ymcui/PERT
• 中文MacBERT模型：https://github.com/ymcui/MacBERT
• 中文ELECTRA模型：https://github.com/ymcui/Chinese-ELECTRA
• 中文XLNet模型：https://github.com/ymcui/Chinese-XLNet
• 知识蒸馏工具包TextBrewer：https://github.com/airaria/TextBrewer

更多来自HFL的资源：https://github.com/iflytek/HFL-Anthology