语言:

• 英文 数据集:
• c4 标签:
• 深度窄型 推理: false

许可证: apache-2.0

T5高效基础版（深度窄型版本）

T5-Efficient-BASE是对谷歌原版T5的变体，遵循T5模型架构。这是一个仅预训练的检查点，随论文**高效扩展：来自预训练与微调Transformer的洞见**发布，作者包括Yi Tay、Mostafa Dehghani、Jinfeng Rao等。

简而言之，论文指出，在参数数量相近的情况下，深度窄型架构相比其他模型架构更有利于下游任务表现。

引用论文原文：

我们通常推荐采用DeepNarrow策略，即在考虑其他维度均匀扩展前优先增加模型深度。这主要源于深度对帕累托前沿的影响，如论文前几节所示。具体而言，高瘦型（深且窄）模型通常比基础模型更高效。同样，高瘦基础模型也可能普遍比大型模型更高效。我们发现无论模型规模如何，即使绝对性能会随层数叠加而提升，帕累托效率的相对增益会随层数增加而递减，在32至36层时趋于收敛。最后需注意，此处的效率概念关联任一计算维度——参数量、FLOPs或吞吐量（速度）。我们报告所有三项关键效率指标（参数量、FLOPS和速度），具体考量维度由实践者自行决定。

精确而言，模型深度定义为顺序堆叠的Transformer块数量。词嵌入序列因此会依次通过每个Transformer块处理。

模型架构详情

本检查点——t5-efficient-base——属于基础模型类型且无变体。其拥有2.2293亿参数，全精度（fp32）下需约891.73 MB内存，半精度（fp16或bf16）下需445.86 MB内存。

原始T5模型架构概要如下：

所用缩写定义如下：

若模型检查点未特别标注el或dl，则编码器与解码器层数均对应nl。

预训练

该检查点在大规模清洁版Common Crawl（C4）上进行了524288步预训练，采用基于跨度的掩码语言建模（MLM）目标。

微调

注意：此模型为预训练检查点，实际使用需进行微调。该检查点基于英文预训练，因此仅适用于英文NLP任务。可参考以下微调示例：

PyTorch:

• 摘要生成
• 问答系统
• 文本分类 - 注：需稍作调整以适配编码器-解码器模型。

TensorFlow:

• 摘要生成
• 文本分类 - 注：需稍作调整以适配编码器-解码器模型。

JAX/Flax:

• 摘要生成
• 文本分类 - 注：需稍作调整以适配编码器-解码器模型。

下游性能

待补充：如有可用数据将添加表格

计算复杂度

待补充：如有可用数据将添加表格

更多信息

强烈建议读者仔细阅读原论文**高效扩展：来自预训练与微调Transformer的洞见**以深入理解该检查点。如此issue所述，包含sh或skv架构变体的检查点因实用价值有限且缺乏详细说明，暂未移植至Transformers库。相关检查点保存在此处，未来可能进行移植。