谷歌T5 1.1版本 - 语言模型适配版

1.1版本 - 语言模型适配版

T5 1.1版本 - 语言模型适配版相比原始T5模型进行了以下改进：

• 在前馈隐藏层使用GEGLU激活函数替代ReLU - 参见论文
• 预训练阶段关闭Dropout（质量提升）。微调阶段应重新启用Dropout
• 仅在C4数据集上进行预训练，不混合下游任务数据
• 嵌入层与分类器层取消参数共享
• 用"xl"和"xxl"替代"3B"和"11B"命名，模型结构略有调整：增大d_model维度，减少num_heads和d_ff维度

该模型同时针对去噪和语言建模目标进行预训练。

具体而言，本检查点基于T5 1.1小规模版初始化，并按照T5论文所述的语言建模目标额外训练了10万步。这种适配显著提升了模型在提示调优（prompt tuning）中的应用能力。

注意：该模型最著名的微调版本是BigScience的T0pp。

预训练数据集：C4

其他社区检查点：此处查看

论文：探索迁移学习的文本到文本统一框架

作者：Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

摘要

迁移学习通过先在数据丰富的任务上预训练模型，再在下游任务上微调，已成为自然语言处理（NLP）领域的强大技术。其有效性催生了多样化的方法、方法论和实践。本文通过将各类语言问题统一转化为文本到文本格式，系统性地探索了NLP迁移学习技术。我们比较了数十种语言理解任务中的预训练目标、架构、无标注数据集、迁移方法等因素，结合大规模训练和新型"Colossal Clean Crawled Corpus"数据集，在摘要生成、问答、文本分类等多项基准测试中取得最先进成果。为促进NLP迁移学习研究，我们公开了数据集、预训练模型和代码。