谷歌T5 1.1版本

1.1版本

相较于原始T5模型，T5 1.1版本包含以下改进：

• 前馈隐藏层采用GEGLU激活函数替代ReLU——详见论文
• 预训练阶段关闭dropout（质量提升），微调阶段需重新启用
• 仅使用C4数据集进行预训练，不混合下游任务数据
• 嵌入层与分类器层取消参数共享
• "xl"和"xxl"规格取代原"3B"和"11B"，模型结构略有调整：增大d_model维度，减少num_heads和d_ff数量

注意：T5 1.1版本仅在C4数据集上进行无监督预训练，未包含任何监督训练。因此使用前需针对下游任务进行微调。
预训练数据集：C4
其他社区检查点：此处查看

论文：探索文本到文本统一转换器的迁移学习极限
作者：Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

摘要

迁移学习——先在数据丰富的任务上预训练模型，再针对下游任务微调——已成为自然语言处理（NLP）领域的强大技术。该技术的有效性催生了多样化的方法、方法论和实践。本文通过将各类语言问题统一转化为文本到文本格式，系统性地比较了数十种语言理解任务中的预训练目标、架构、无标注数据集和迁移方法等因素。结合规模化实验与新型"Colossal Clean Crawled Corpus"数据集，我们在摘要生成、问答、文本分类等多项基准测试中取得了最先进的结果。为促进NLP迁移学习的后续研究，我们公开了数据集、预训练模型和代码。