T0++是基于T5架构的自然语言处理模型，通过多任务提示训练实现零样本任务泛化能力，在多种NLP任务上超越GPT-3且体积更小。

MrT5是基于ByT5改进的高效字节级语言模型，通过动态令牌合并技术缩短输入序列长度约50%

Shuka v1 是一款原生支持印度语言音频理解的语言模型，结合自主研发的音频编码器和Llama3-8B-Instruct解码器，支持多语言零样本问答任务。

TURNA是一个土耳其语编码器-解码器语言模型，专注于增强理解和生成能力。

基于mT5-base的多语言零样本分类模型，支持近100种语言的双向文本分类

Pile-T5基础版是基于T5x库在The Pile数据集上训练的编码器-解码器模型，通过MLM目标训练了200万步，约2万亿token。

Pile-T5 XXL是基于T5x库在The Pile数据集上训练的编码器-解码器模型，采用类似原始T5模型的MLM目标，训练了200万步（约2万亿token）。

MedICap是一款医疗影像描述生成编码器-解码器模型，在ImageCLEFmedical Caption 2023挑战赛中荣获冠军。

Pile-T5 Large 是基于 T5x 库在 The Pile 数据集上训练的编码器-解码器模型，主要用于英语文本到文本生成任务。

基于Transformer编码器-解码器架构的越南语最先进轻量级预训练模型，专注于文本摘要任务。

基于谷歌Transformer架构的编码器-解码器关键词生成模型，支持波兰语和英语，主要用于从科学论文摘要中提取关键词。

基于Transformer架构的越南语先进预训练编码器-解码器模型

这是一个基于RoBERTa架构的编码器-解码器模型，专门针对句子拆分任务进行微调。

T0++是一个在英语自然语言提示上展示零样本任务泛化能力的编码器-解码器模型，在许多任务上优于GPT-3，同时体积小了16倍。

ruT5-base是由SberDevices开发的俄语文本到文本生成模型，基于T5架构，参数量2.22亿，训练数据量300GB。

基于Bert2Bert架构的土耳其语释义生成模型，用于生成语义相同但表达不同的句子。

这是一个基于MOZILLA-FOUNDATION/COMMON_VOICE_7_0德语数据集训练的自动语音识别编码器-解码器模型，结合了Wav2Vec2和GPT2架构的优势。

基于cc_news_es_titles数据集微调的编码器-解码器模型，用于西班牙语文本处理任务

基于RoBERTa-Large初始化的编码器-解码器模型，专为摘要生成任务设计，在CNN/DailyMail数据集上微调。

这是一个基于BERT-mini架构的编码器-解码器模型，专门针对CNN/Dailymail数据集进行微调，用于文本摘要生成任务。

T0pp是基于T5架构的110亿参数编码器-解码器模型，在英语自然语言提示的零样本任务泛化上表现优异，超越GPT-3且体积更小。