🚀 T5-Efficient-XL (深度窄化版本)
T5-Efficient-XL 是 谷歌原始 T5 的一个变体,遵循 T5 模型架构。它是一个仅预训练的检查点,随论文 高效扩展:预训练和微调 Transformer 的见解 发布,论文作者为 Yi Tay、Mostafa Dehghani、Jinfeng Rao、William Fedus、Samira Abnar、Hyung Won Chung、Sharan Narang、Dani Yogatama、Ashish Vaswani、Donald Metzler。
简而言之,该论文指出,与参数数量相近的其他模型架构相比,深度窄化的模型架构在下游任务性能上更具优势。
引用论文内容:
我们通常推荐采用深度窄化策略,即在考虑对其他维度进行统一扩展之前,优先增加模型的深度。这主要是因为,正如论文前面章节所示,深度对帕累托前沿的影响很大。具体来说,一个又高又小(深度大且宽度窄)的模型通常比基础模型更高效。同样,一个深度较大的基础模型通常也比大型模型更高效。我们普遍发现,无论模型大小如何,即使随着层数的增加,绝对性能可能会提高,但帕累托效率的相对增益会随着层数的增加而减小,在 32 到 36 层时趋于收敛。最后,我们注意到,这里所说的效率与任何一种计算维度相关,即参数数量、浮点运算次数(FLOPs)或吞吐量(速度)。我们报告了这三个关键的效率指标(参数数量、FLOPs 和速度),并将选择考虑哪种计算维度的决定权留给从业者。
更准确地说,模型深度定义为顺序堆叠的 Transformer 块的数量。因此,词嵌入序列会依次由每个 Transformer 块进行处理。
✨ 主要特性
详细的模型架构
此模型检查点 t5-efficient-xl 属于 Xl 模型类型,无变体。它有 28.5166 亿个参数,因此在全精度(fp32)下大约需要 11406.62 MB 的内存,在半精度(fp16 或 bf16)下需要 5703.31 MB 的内存。
以下是 原始 T5 模型架构的总结:
模型 |
nl (el/dl) |
ff |
dm |
kv |
nh |
参数数量 |
Tiny |
4/4 |
1024 |
256 |
32 |
4 |
16M |
Mini |
4/4 |
1536 |
384 |
32 |
8 |
31M |
Small |
6/6 |
2048 |
512 |
32 |
8 |
60M |
Base |
12/12 |
3072 |
768 |
64 |
12 |
220M |
Large |
24/24 |
4096 |
1024 |
64 |
16 |
738M |
Xl |
24/24 |
16384 |
1024 |
128 |
32 |
3B |
XXl |
24/24 |
65536 |
1024 |
128 |
128 |
11B |
使用的缩写如下:
缩写 |
定义 |
nl |
Transformer 块的数量(深度) |
dm |
嵌入向量的维度(Transformer 块的输出向量) |
kv |
键/值投影矩阵的维度 |
nh |
注意力头的数量 |
ff |
Transformer 块内中间向量的维度(前馈投影矩阵的大小) |
el |
编码器中 Transformer 块的数量(编码器深度) |
dl |
解码器中 Transformer 块的数量(解码器深度) |
sh |
表示注意力头是共享的 |
skv |
表示键值投影矩阵是绑定的 |
如果一个模型检查点没有特定的 el 或 dl,则编码器层和解码器层的数量都对应于 nl。
预训练
该检查点在 大规模、清理后的通用爬虫数据集(C4) 上进行了 524288 步的预训练,使用基于跨度的掩码语言模型(MLM)目标。
微调
⚠️ 重要提示
此模型是一个预训练检查点,在实际应用中需要进行微调。该检查点是用英语进行预训练的,因此仅适用于英语自然语言处理任务。
你可以参考以下示例进行模型微调:
PyTorch:
Tensorflow:
- 文本摘要
- 文本分类 - 注意:你需要对这里的训练示例进行一些微调,使其适用于编码器 - 解码器模型。
JAX/Flax:
- 文本摘要
- 文本分类 - 注意:你需要对这里的训练示例进行一些微调,使其适用于编码器 - 解码器模型。
下游性能
TODO: 若有数据将添加表格
计算复杂度
TODO: 若有数据将添加表格
更多信息
我们强烈建议读者仔细阅读原始论文 高效扩展:预训练和微调 Transformer 的见解,以更深入地了解此模型检查点。正如 此问题 中所解释的,包含 sh 或 skv 模型架构变体的检查点尚未移植到 Transformers 中,因为它们可能实际用途有限,且缺乏更详细的描述。这些检查点保留在 此处,未来可能会进行移植。
📄 许可证
本项目采用 Apache-2.0 许可证。