语言:

• 英语 数据集:
• c4 标签:
• 深度窄型 推理: false

许可证: apache-2.0

T5-Efficient-BASE-NL48 (深度窄型版本)

T5-Efficient-BASE-NL48 是 Google 原始 T5 的一个变体，遵循 T5 模型架构。
它是一个仅预训练的检查点，随论文 Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers 发布，作者为 Yi Tay, Mostafa Dehghani, Jinfeng Rao, William Fedus, Samira Abnar, Hyung Won Chung, Sharan Narang, Dani Yogatama, Ashish Vaswani, Donald Metzler。

简而言之，论文指出，与其他参数数量相近的模型架构相比，深度窄型模型架构对下游任务性能更为有利。

引用论文内容：

我们通常推荐采用 DeepNarrow 策略，即在考虑其他维度的均匀扩展之前，优先增加模型的深度。这主要是由于深度如何影响论文前面部分展示的帕累托前沿。具体来说，一个高瘦（深且窄）的模型通常比基础模型更高效。同样，一个高瘦的基础模型也可能比大型模型更高效。我们发现，无论模型大小如何，即使随着层数的增加，绝对性能可能会提升，但帕累托效率的相对增益会随着层数的增加而减弱，最终在 32 到 36 层时趋于稳定。最后，我们注意到这里的效率概念与任何计算维度相关，即参数数量、FLOPs 或吞吐量（速度）。我们报告了三个关键效率指标（参数数量、FLOPS 和速度），并将决定权留给实践者来选择考虑哪个计算维度。

更准确地说，模型深度定义为顺序堆叠的 Transformer 块数量。因此，词嵌入序列会依次通过每个 Transformer 块处理。

模型架构详情

此模型检查点——t5-efficient-base-nl48——属于 Base 类型，具有以下变体：

• nl 为 48

它有 8.177 亿参数，因此在全精度（fp32）下需要约 3270.79 MB 内存，或在半精度（fp16 或 bf16）下需要 1635.39 MB 内存。

以下是原始 T5 模型架构的总结：

其中使用了以下缩写：

如果模型检查点没有特定的 el 或 dl，则编码器和解码器层数均对应于 nl。

预训练

该检查点在 Colossal, Cleaned version of Common Crawl (C4) 上进行了预训练，共 524288 步，使用了基于跨度的掩码语言建模（MLM）目标。

微调

注意：此模型是一个预训练检查点，需要微调才能实际使用。
该检查点是在英语上预训练的，因此仅适用于英语 NLP 任务。
您可以参考以下示例之一来微调模型：

PyTorch:

• 摘要
• 问答
• 文本分类 - 注意：您需要稍微调整训练示例以使其适用于编码器-解码器模型。

Tensorflow:

• 摘要
• 文本分类 - 注意：您需要稍微调整训练示例以使其适用于编码器-解码器模型。

JAX/Flax:

• 摘要
• 文本分类 - 注意：您需要稍微调整训练示例以使其适用于编码器-解码器模型。

下游性能

待办：如有可用，添加表格

计算复杂度

待办：如有可用，添加表格

更多信息

我们强烈建议读者仔细阅读原始论文 Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers，以更细致地理解此模型检查点。
如以下 issue 所述，包含 sh 或 skv 模型架构变体的检查点未移植到 Transformers 中，因为它们可能在实际应用中用途有限且缺乏更详细的描述。这些检查点保存在 此处，未来可能会移植。