语言: 英语 数据集:

• c4 标签:
• t5-lm-adapt

许可证: apache-2.0

谷歌T5 版本1.1 - LM适配版

版本1.1 - LM适配版

T5版本1.1 - LM适配版相比原始T5模型包含以下改进：

• 在feed-forward隐藏层中使用GEGLU激活函数，而非ReLU - 参见此处。

• 预训练时关闭了Dropout（质量提升）。微调时应重新启用Dropout。

• 仅在C4数据集上进行预训练，未混合下游任务数据。

• 嵌入层和分类器层之间不共享参数。

• 用"xl"和"xxl"取代"3B"和"11B"命名。模型结构略有不同 - 更大的d_model，更小的num_heads和d_ff。

并且同时针对去噪和语言建模目标进行预训练。

具体而言，该检查点从T5版本1.1 - XXL初始化， 然后按照T5论文中讨论的语言建模目标额外训练了100K步。 这种适配提升了模型在提示调优中的使用能力。

注意: T5版本1.1 - LM适配版的一个流行微调版本是BigScience的T0pp。

预训练数据集: C4

其他社区检查点: 此处

论文: 探索迁移学习的极限：统一文本到文本转换框架

作者: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

摘要

迁移学习作为一种先在数据丰富的任务上进行预训练，再在下游任务上微调的技术，已成为自然语言处理（NLP）中的强大方法。迁移学习的有效性催生了多样化的方法、方法论和实践。本文通过引入将每个语言问题转换为文本到文本格式的统一框架，探索了NLP迁移学习技术的全景。我们的系统研究比较了数十项语言理解任务中的预训练目标、架构、无标签数据集、迁移方法等因素。通过将探索所得见解与规模效应及我们新构建的"Colossal Clean Crawled Corpus"相结合，我们在涵盖摘要生成、问答、文本分类等多个基准测试中取得了最先进的结果。为促进NLP迁移学习的未来研究，我们公开了数据集、预训练模型和代码。