TimeMoE-200M 是一个基于专家混合（Mixture of Experts, MoE）架构的十亿级时间序列基础模型，专注于时间序列预测任务。

CodeGen2.5是一个用于程序合成的自回归语言模型系列，基于CodeGen2改进，在StarCoderData上训练，以较小规模实现高性能。

XDoc 是一个统一预训练模型，能够通过单一模型处理不同格式的文档。

T5-Efficient-TINY-FF12000是Google原始T5的一个变体，采用深度窄型架构，在参数数量相近的模型中表现出更优的下游任务性能。

T5高效大型-DM2000是谷歌T5模型的一个变体，采用深度窄型架构，优先增加模型深度以提高下游任务性能。

T5-Efficient-BASE是基于谷歌T5架构的变体，采用深度窄型设计优化下游任务表现，参数量2.229亿

DeBERTaV3是微软提出的改进版DeBERTa模型，通过ELECTRA风格的梯度解耦嵌入共享预训练方法提升效率，在自然语言理解任务中表现优异。

T5高效小型-NL22是谷歌T5模型的深度窄型变体，专注于通过增加模型深度提升下游任务性能。

T5-Efficient-SMALL-DM768 是 Google 原始 T5 的一个变体，采用深度窄型架构，优先增加模型深度以提高下游性能。

中文ELECTRA是哈工大-讯飞联合实验室基于谷歌ELECTRA模型发布的中文预训练模型，体积小且性能优越。

T5-Efficient-SMALL-KV256是谷歌T5的变体，采用深度窄型架构优化下游任务性能，参数量1.17亿，需微调使用。

T5-Efficient-SMALL是Google原版T5的一个变体，采用深度窄型架构，在参数数量相近的情况下，下游任务性能优于其他架构。

T5-Efficient-TINY是谷歌T5模型的深度窄型变体，专注于通过增加模型深度而非宽度来提升下游任务性能。

T5-Efficient-SMALL-KV32是Google原版T5的一个变体，采用深度窄型架构，专注于提高下游任务性能。

T5-Efficient-TINY-NL8是Google T5模型的一个高效变体，采用深度窄型架构优化下游任务性能。

T5-Efficient-MINI是谷歌原版T5的一个变体，采用深度窄型架构，在参数数量相似的模型架构中表现出更优的下游任务性能。

T5-Efficient-BASE-NL48 是 Google T5 的变体，采用深度窄型架构，优先增加模型深度以提高下游任务性能。

T5-Efficient-TINY-NL32是Google原版T5的一个变体，采用深度窄型架构，优先增加模型深度以优化下游任务性能。

T5-Efficient-TINY-NL2是Google原版T5的一个变种，采用深度窄型架构，专注于提高下游任务性能。