🚀 T5-西班牙语高效精简版（全新 深度窄化西班牙语版本 - 2024年3月）

T5-高效精简版是 谷歌原始T5 的一个变体，遵循 T5模型架构。该变体由 量子人工智能公司 的 哈维尔·阿尔巴拉辛 训练。原始版本由 易·泰、穆斯塔法·德赫加尼、金峰·饶、威廉·费杜斯、萨米拉·阿卜纳尔、洪元钟、沙兰·纳朗、达尼·约加塔马、阿什什·瓦斯瓦尼、唐纳德·梅茨勒 在论文 高效扩展：预训练和微调Transformer的见解 中发布。

此版本的模型使用西班牙语数据集从头开始训练。该版本 需要微调，尚未针对任何任务进行训练。该模型的优点在于它使用西班牙语，可用于训练简单任务。由于其相对较低的复杂度和小于29MB的大小，非常适合在CPU上使用。

它有自己的西班牙语分词器（仅小写字母），大小为5000个标记。

✨ 主要特性

模型架构细节

这个 T5-西班牙语高效精简版 模型属于 精简型，在维度和前馈层大小上有所变化。它有 1794 万个参数，在 全精度（fp32）下需要 29 MB 内存，在 半精度（fp16 或 bf16）下需要 15 MB 内存。

这个 西班牙语模型 比原始的精简模型更轻量级。

原始T5模型的总结如下：

使用的缩写如下：

如果模型检查点没有特定的 el 或 dl，则编码器和解码器层的数量都对应于 nl。

预训练

该模型使用西班牙语的MSMARCO数据集中200万个随机记录进行了预训练。

微调

⚠️ 重要提示

此模型 需要 微调才能工作，以下是一些微调方法的示例：

PyTorch

• 摘要生成
• 问答系统
• 文本分类 - 注意：你需要对这里的训练示例进行一些调整，使其适用于编码器 - 解码器模型。

Tensorflow

• 摘要生成
• 文本分类 - 注意：你需要对这里的训练示例进行一些调整，使其适用于编码器 - 解码器模型。

JAX/Flax

• 摘要生成
• 文本分类 - 注意：你需要对这里的训练示例进行一些调整，使其适用于编码器 - 解码器模型。

📄 许可证

本项目采用Apache-2.0许可证。