专长于处理文本摘要任务的中文PEGASUS-large模型，基于多个中文摘要数据集微调

ERNIE 3.0是一个面向中文语言理解与生成的大规模知识增强预训练模型，mini版本是其轻量级实现。

XLMR-MaCoCu-tr 是基于土耳其语文本大规模预训练的语言模型，是MaCoCu项目的一部分，使用35GB土耳其语文本训练。

基于大规模科研论文集合预训练的BERT-large变体，参数量3.4亿，专注于科学文献理解

该模型是基于3千小时越南语语音数据预训练的Wav2Vec2基础模型，适用于越南语语音识别任务，需在下游任务上微调后使用。

XLM-RoBERTa是一种跨语言句子编码器的扩展版本，基于100种语言的2.5T数据训练，在多项跨语言基准测试中表现优异。

AraBERT是基于谷歌BERT架构的阿拉伯语预训练语言模型，专为阿拉伯语自然语言理解任务设计。

IndoBERT是基于BERT模型的印尼语最先进的语言模型，通过掩码语言建模和下一句预测目标进行训练。

IndoBERT是基于BERT模型针对印尼语开发的尖端语言模型，采用掩码语言建模（MLM）和下一句预测（NSP）目标进行训练。

基于德语海量清洁版Common Crawl语料库（GC4）训练的超大规模德语语言模型，总规模约844GB，可能存在偏见。

mGPT是基于mC4数据集预训练的多语言生成模型，支持101种语言，采用类似GPT-2的Transformer架构。

该模型基于2.5亿中文语料库，采用MobileBERT架构进行预训练，训练周期为15天，在单张A100显卡上完成100万步迭代。

XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。