基于英语语料预训练的Transformer模型，采用类似ELECTRA的自监督学习方式，通过预测被替换标记进行训练。

T5-Efficient-TINY-FF12000是Google原始T5的一个变体，采用深度窄型架构，在参数数量相近的模型中表现出更优的下游任务性能。

T5高效大型-DM2000是谷歌T5模型的一个变体，采用深度窄型架构，优先增加模型深度以提高下游任务性能。

T5-Efficient-BASE-FF6000是谷歌原版T5的一个变体，采用深度窄型架构，在参数数量相近的模型架构中，下游任务性能更具优势。

BERT是基于大规模英文语料通过自监督方式预训练的transformers模型，采用掩码语言建模和下一句预测目标进行训练

T5高效小型-NL22是谷歌T5模型的深度窄型变体，专注于通过增加模型深度提升下游任务性能。

T5-Efficient-BASE-FF9000是谷歌原版T5的变体，采用深度窄型架构，在参数规模相似的情况下，下游任务表现更优。

T5-Efficient-SMALL-DM768 是 Google 原始 T5 的一个变体，采用深度窄型架构，优先增加模型深度以提高下游性能。

T5-Efficient-SMALL-KV256是谷歌T5的变体，采用深度窄型架构优化下游任务性能，参数量1.17亿，需微调使用。

T5高效大型-NH32是谷歌T5模型的深度窄型变体，专注于通过增加模型深度提升下游任务性能。

T5-Efficient-SMALL是Google原版T5的一个变体，采用深度窄型架构，在参数数量相近的情况下，下游任务性能优于其他架构。

T5-Efficient-TINY是谷歌T5模型的深度窄型变体，专注于通过增加模型深度而非宽度来提升下游任务性能。

T5-Efficient-LARGE是基于谷歌T5的变体，采用深度窄型架构优化下游任务性能，拥有7.377亿参数。

T5-Efficient-SMALL-EL2是Google原版T5的一个变体，采用深度窄型架构，优先增加模型深度以提高下游性能。

T5-Efficient-SMALL-KV32是Google原版T5的一个变体，采用深度窄型架构，专注于提高下游任务性能。

T5-Efficient-TINY-NL8是Google T5模型的一个高效变体，采用深度窄型架构优化下游任务性能。

T5-Efficient-MINI是谷歌原版T5的一个变体，采用深度窄型架构，在参数数量相似的模型架构中表现出更优的下游任务性能。

T5-Efficient-BASE-NL48 是 Google T5 的变体，采用深度窄型架构，优先增加模型深度以提高下游任务性能。

T5-Efficient-TINY-NL32是Google原版T5的一个变体，采用深度窄型架构，优先增加模型深度以优化下游任务性能。

T5-Efficient-TINY-NL2是Google原版T5的一个变种，采用深度窄型架构，专注于提高下游任务性能。

XLNet是一种基于广义排列语言建模目标的非监督语言表示学习方法，采用Transformer-XL作为主干模型，在处理长上下文任务时表现卓越。