AIbase

GEGLU激活函数
T5 V1 1 Xxl
Apache-2.0
T5 1.1是谷歌改进的文本到文本转换Transformer模型，采用GEGLU激活函数和纯无监督预训练策略
大型语言模型
Transformers
英语
T
google
597.64k
116
T5 V1 1 Xl
Apache-2.0
T5 1.1是谷歌改进的文本到文本转换Transformer模型，采用GEGLU激活函数和优化架构，仅使用C4数据集进行无监督预训练
大型语言模型
Transformers
英语
T
google
30.17k
15
T5 Small Lm Adapt
Apache-2.0
T5 1.1语言模型适配版是基于原始T5模型的改进版本，针对语言建模任务进行了优化，提升了在提示调优中的应用能力。
大型语言模型
Transformers
英语
T
google
769
8
T5 Xl Lm Adapt
Apache-2.0
T5 1.1语言模型适配版是基于原始T5模型的改进版本，采用GEGLU激活函数，取消参数共享，专为语言建模任务优化
大型语言模型
Transformers
英语
T
google
1,111
13
T5 V1 1 Base
Apache-2.0
T5 1.1是谷歌改进的文本到文本转换模型，采用GEGLU激活函数和优化架构，专注于无监督预训练
大型语言模型
英语
T
google
150.73k
58
T5 Base Lm Adapt
Apache-2.0
T5 V1.1语言模型适配版是基于T5架构改进的文本生成模型，通过GEGLU激活函数和语言建模目标优化，显著提升提示调优效果。
大型语言模型
Transformers
英语
T
google
1,062
17
T5 Large Lm Adapt
Apache-2.0
T5版本1.1的LM适配版是基于T5架构改进的文本生成模型，通过语言建模目标额外训练，提升了提示调优能力。
大型语言模型
Transformers
英语
T
google
501
8
T5 V1 1 Small
Apache-2.0
T5版本1.1是谷歌改进的文本到文本转换模型，采用GEGLU激活函数，仅在C4数据集上进行无监督预训练，需微调后使用。
大型语言模型
英语
T
google
127.68k
26
T5 V1 1 Large
Apache-2.0
T5 1.1是谷歌改进的文本到文本转换模型，采用GEGLU激活函数并优化架构，专注于无监督预训练
大型语言模型
英语
T
google
111.29k
17