语言: 英文
数据集:

• c4
  标签:
• t5-lm-adapt

许可证: apache-2.0

谷歌T5 版本1.1 - LM适配版

版本1.1 - LM适配版

T5版本1.1 - LM适配版相比原始T5模型包含以下改进：

• 在feed-forward隐藏层中使用GEGLU激活函数，而非ReLU——详见此处。
• 预训练时关闭Dropout（质量提升）。微调时应重新启用Dropout。
• 仅在C4数据集上预训练，未混合下游任务数据。
• 嵌入层与分类器层之间无参数共享。
• 用"xl"和"xxl"取代"3B"和"11B"命名。模型结构略有不同——更大的d_model和更小的num_heads与d_ff。

该模型同时基于去噪和语言建模目标进行预训练。

具体而言，此检查点从T5版本1.1 - Large初始化，并针对T5论文中讨论的语言建模目标额外训练了10万步。这种适配提升了模型在提示调优中的应用能力。

注意：T5版本1.1 - LM适配版的一个知名微调版本是BigScience的T0pp。

预训练数据集：C4

其他社区检查点：此处

论文：探索迁移学习的极限：统一文本到文本转换框架

作者：Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

摘要

迁移学习——先在数据丰富的任务上预训练模型，再在下游任务上微调——已成为自然语言处理（NLP）中的强大技术。其有效性催生了多样化的方法、方法论和实践。本文通过将各类语言问题统一转化为文本到文本格式，系统性地探索了NLP迁移学习技术。我们比较了数十种语言理解任务中的预训练目标、架构、无标签数据集、迁移方法等因素。结合规模化实验与新构建的"Colossal Clean Crawled Corpus"数据集，我们在摘要生成、问答、文本分类等多项基准测试中取得了最先进成果。为促进NLP迁移学习的未来研究，我们公开了数据集、预训练模型和代码。