基于modernBERT-base架构的日语大语言模型，支持最大8192的序列长度，使用3.4TB日语语料训练

SyllaBERTa是一款实验性基于Transformer的掩码语言模型，专为处理古希腊语文本设计，采用音节级分词。

基于1万亿高质量法语文本预训练的法语语言模型，是ModernBERT的法语版本

ModernCamemBERT是基于1T高质量法语文本语料库预训练的法语语言模型，是ModernBERT的法语版本，专注于长上下文和高效推理速度。

基于非编码RNA数据、采用掩码语言建模（MLM）目标预训练的RNA基础模型

medBERT-base是基于BERT的模型，专注于医学和胃肠病学文本的掩码语言建模任务。

基于XLM-Roberta基础模型微调的版本，采用RoPE（旋转位置编码）替换原始位置嵌入，支持2048序列长度

CamemBERTv2是基于2750亿法语文本语料预训练的法语语言模型，是CamemBERT的第二代版本，采用RoBERTa架构，优化了分词器和训练数据。

RiNALMo是基于掩码语言建模（MLM）目标预训练的非编码RNA（ncRNA）模型，在大量非编码RNA序列上通过自监督方式训练。

基于RoBERTa架构的哈萨克语语言模型，采用RobertaForMaskedLM从头训练而成，适用于哈萨克语文本处理任务。

CodeBERTa是一个基于RoBERTa架构的代码理解模型，专门针对多种编程语言训练，能够高效处理代码相关任务。

SaudiBERT是首个专注于沙特方言文本的预训练大语言模型，基于大规模沙特推特和论坛语料库训练。

Caduceus-PS是一个具有反向互补等变性的DNA序列建模模型，专为长序列处理设计。

基于掩码语言建模(MLM)目标预训练的多语言ALBERT模型，支持60+种语言，具有参数共享的轻量级架构

基于掩码语言建模（MLM）目标预训练的多语言ALBERT模型，支持64k词表大小，区分大小写

基于掩码语言建模目标预训练的多语言ALBERT模型，支持50+种语言，区分大小写

Indus是基于RoBERTa的仅编码器Transformer模型，专为NASA科学任务理事会(SMD)应用领域优化，适用于科学信息检索和智能搜索。

Albertina 1.5B PTBR 是一个面向巴西葡萄牙语变体的基础大型语言模型，属于BERT家族的编码器，基于Transformer神经网络架构，并在DeBERTa模型基础上开发。

TahrirchiBERT-base是一个乌兹别克语（拉丁字母）的仅编码器Transformer文本模型，拥有1.1亿参数，通过掩码语言建模目标预训练。

针对现代希伯来语的最先进BERT语言模型套件

基于德语法律数据训练的BERT模型，专注于法律文本处理

BERTikal 是一个针对巴西法律语言的大写敏感BERT基础模型，基于BERTimbau的检查点，使用巴西法律文本训练而成。

Albertina 100M PTBR是一个面向巴西葡萄牙语的基础大语言模型，属于BERT家族的编码器，基于Transformer神经网络架构，并在DeBERTa模型基础上开发。

Albertina 100M PTPT 是一个面向欧洲葡萄牙语（葡萄牙）的基础大语言模型，属于BERT家族的编码器，基于Transformer神经网络架构，并在DeBERTa模型基础上开发。

基于RoBERTa架构的新闻领域掩码语言模型，专门针对新闻文本进行预训练

ARBERTv2是基于现代标准阿拉伯语(MSA)训练的升级版BERT模型，训练语料达243GB文本，包含278亿词元。

NorBERT 3 是新一代挪威语语言模型，基于BERT架构，支持书面挪威语（Bokmål）和新挪威语（Nynorsk）。

一个中等规模的BERT语言模型，采用掩码语言建模(MLM)预训练目标。

基于掩码语言建模任务训练的混合专家(MoE)模型，参数规模达1.6万亿，采用类似T5的架构但前馈层替换为稀疏MLP层

ESM-2是基于掩码语言建模目标训练的最先进蛋白质模型，适用于对蛋白质序列进行各种任务的微调。

ESM-2是基于掩码语言建模目标训练的新一代蛋白质模型，适用于各类以蛋白质序列为输入的下游任务微调。

基于distilroberta-base微调的模型，具体用途未明确说明

ESM-2是基于掩码语言建模目标训练的前沿蛋白质模型，适用于各类蛋白质序列分析任务

ESM-2是基于掩码语言建模目标训练的新一代蛋白质模型，适用于对蛋白质序列进行各类任务的微调。

这是一个针对科普特语的MicroBERT模型，通过掩码语言建模和XPOS标注的监督进行预训练。

FinBERT是基于金融通讯文本预训练的BERT模型，专为金融自然语言处理任务设计。

K-12BERT是基于K-12基础教育领域数据通过持续预训练得到的BERT模型，专为教育场景优化

专为天文学和天体物理学设计的语言模型，由NASA/ADS团队开发，支持填充掩码、命名实体识别和文本分类任务。

该模型是基于albert-base-v2的掩码语言模型，专门针对电子产品属性纠正任务进行了微调

基于日语维基百科和CC-100日语部分预训练的大型日语RoBERTa模型，适用于日语自然语言处理任务。