ChineseBERT是一个融合字形与拼音信息的中文预训练模型，针对中文文本处理进行了优化。

基于bert-medium架构预训练的阿姆哈拉语模型，参数量4050万，在2.9亿词元上训练，性能媲美更大规模的多语言模型。

这是一个基于BART基础版的粤语模型，通过在LIHKG数据集上进行第二阶段预训练获得。

中文ELECTRA是哈工大-讯飞联合实验室基于谷歌ELECTRA架构开发的中文预训练模型，参数量仅为BERT的1/10但性能相近。

中文ELECTRA是由哈工大-讯飞联合实验室（HFL）基于谷歌与斯坦福大学发布的ELECTRA模型开发的中文预训练模型，具有参数量小、性能高的特点。