俄罗斯版现代化单向双向编码器Transformer模型，预训练使用了约2万亿个俄语、英语和代码数据的标记，上下文长度高达8,192个标记。

Italian ModernBERT是ModernBERT的意大利语特化版本，专门针对意大利语文本进行预训练。

HPLT项目发布的斯洛伐克语单语BERT模型，基于LTG-BERT架构训练，适用于掩码语言建模任务

MizBERT是基于米佐语文本语料库预训练的掩码语言模型（MLM），采用BERT架构，能有效学习米佐语词汇的上下文表征。

BARTSmiles是一个基于BART架构的生成式掩码语言模型，专门用于分子表征和SMILES字符串处理。

PhayaThaiBERT是一个基于泰语的基础BERT模型，适用于泰语文本处理任务。

GPN-MSA是一个基于人类及其他89种脊椎动物训练的语言模型，专注于DNA序列分析和变异效应预测。

ESM-2是基于掩码语言建模目标训练的最先进蛋白质模型，适用于对蛋白质序列进行分析和预测任务

RuLeanALBERT 是一个针对俄语预训练的掩码语言模型，采用了内存高效的架构。

基于MacBERT微调的掩码语言模型，用于中文错别字修正

基于BERT架构的佛教梵语掩码语言模型，专为处理佛教梵语文本设计

针对土耳其语的类BERT掩码语言模型，基于字符级别运行，采用类似SpanBERT的字符跨度掩码方法进行预训练。

这是一个基于CC-100数据集预训练的RoBERTa模型，适用于白俄罗斯语文本处理任务。

这是将东北大学的BERT large Japanese模型转换为可在Rust中使用的格式的版本

基于知识蒸馏技术预训练的BERT变体模型，隐藏层维度为240，配备12个注意力头，适用于掩码语言建模任务。

tunbert_zied 是一个基于突尼斯方言的语言模型，架构类似RoBERTa，训练了超过60万条突尼斯方言短语。

TAPAS是一个基于表格数据的预训练语言模型，专门用于处理表格相关的自然语言任务。

KoBERT-LM 是针对韩文优化的预训练语言模型，基于BERT架构，专门针对韩语文本进行了进一步预训练。

Bangla BERT 基础版是基于BERT架构预训练的孟加拉语语言模型，支持多种下游NLP任务。

基于RoBERTa架构的印尼语掩码语言模型，在OSCAR语料库上训练，验证准确率62.45%

这是一个专注于茨瓦纳语的掩码语言模型，旨在提升南非低资源语言在NLP领域的性能表现。

TAPAS是一个基于表格的预训练语言模型，专门用于处理表格数据和相关查询。

AlephBERT 是一个针对希伯来语的尖端语言模型，基于谷歌的BERT架构，专门为处理希伯来语文本设计。

VetBERT是一个专为处理兽医临床笔记设计的预训练语言模型，基于Bio_ClinicalBERT进一步在兽医医学领域数据上训练。

TAPAS (Table Parser) 是谷歌研究开发的基于表格的预训练语言模型，专门用于处理表格数据和自然语言查询。

这是一个基于CodeSearchNet数据集预训练的RoBERTa模型，专为Golang掩码语言模型任务设计。

当前最先进的希伯来语语言模型，基于BERT架构

基于青空文库文本预训练的日语RoBERTa小型模型，适用于多种下游NLP任务

这是一个基于泰语维基百科文本预训练的RoBERTa模型，采用字符级嵌入以适配BertTokenizerFast。

基于青空文库文本、使用字符分词器预训练的RoBERTa模型，适用于日语文本处理任务。

这是一个基于日语维基百科文本预训练的BERT模型，源自bert-large-japanese-char，通过增强字符嵌入功能支持更多汉字字符。