RNABERT是基于非编码RNA（ncRNA）的预训练模型，采用掩码语言建模（MLM）和结构对齐学习（SAL）目标。

RiNALMo是基于掩码语言建模（MLM）目标预训练的非编码RNA（ncRNA）模型，在大量非编码RNA序列上通过自监督方式训练。

基于BERT架构的Transformer编码器模型，专为生成RNA序列嵌入而设计

ProGen2-small是基于Nijkamp等人研究的蛋白质生成模型，经过轻微调整配置和前向传播流程的镜像版本。

该模型为蛋白质序列生成嵌入向量，支持缩短版嵌入以加速搜索任务。

基于ESM-2蛋白质语言模型的序列分类器，用于蛋白质序列的零样本分类任务。

ESM-1b是基于Transformer的蛋白质语言模型，通过无监督学习蛋白质序列数据，可用于蛋白质结构和功能预测。

ESM-2是基于掩码语言建模目标训练的最先进蛋白质模型，适用于对蛋白质序列进行分析和预测任务

TCR-BERT 是一个基于 BERT 架构的预训练模型，专门针对 T 细胞受体（TCR）序列进行优化，通过掩码氨基酸建模任务进行训练。