GECKO是基于韩语、英语和代码训练的70亿参数解码器专用Transformer模型，采用Apache 2.0许可开源发布。

Saltlux AI实验室基于Meta Llama-3-8B优化的韩语大语言模型，扩展了韩语分词器并精选100GB韩语数据预训练

TinyLlama是一个11亿参数的小型语言模型，采用与Llama 2相同的架构和分词器，适用于资源有限的应用场景。

基于Llama-2-7B优化的越南语大语言模型，通过持续预训练在124GB多领域越南语和英语数据上增强语言理解能力

MPT-7B是由MosaicML训练的开源商用大语言模型，基于1万亿标记的英文文本和代码预训练，采用改进的Transformer架构优化训练和推理效率。

面向俄语的130亿参数语言模型，基于300GB多领域数据预训练，俄语困惑度约8.8

Kaz-RoBERTa是一个基于大规模哈萨克语语料库通过自监督方式预训练的transformers模型，主要用于掩码语言建模任务。

ElhBERTeu是为巴斯克语推出的BERT模型，基于多领域语料训练，在BasqueGLUE基准测试中表现优异。

DistilBERT是BERT的轻量级蒸馏版本，保留了BERT 97%的性能，同时体积缩小40%，速度提升60%。

DistilBERT是BERT的轻量级蒸馏版本，保留了BERT 97%的性能，同时体积缩小40%，速度提升60%。

DistilBERT 是 BERT 的轻量级蒸馏版本，保留了 BERT 的大部分性能，但参数量更少，推理速度更快。

ProcBERT是专为流程文本优化的预训练语言模型，基于大规模流程文本语料库（包含生物医学文献、化学专利和烹饪食谱）进行预训练，在下游任务中展现出卓越性能。

CPM是基于Transformer的26亿参数中文预训练语言模型，使用100GB中文语料训练，支持多种自然语言处理任务。

该模型是Facebook Wav2Vec2-Large-Robust的微调版本，专门针对电话语音识别任务优化，使用300小时Switchboard电话语音语料库进行微调。

基于因果语言建模目标预训练的印尼语生成模型，使用Flax框架训练