T5小型模型卡

目录

1. 模型详情
2. 用途
3. 偏见、风险与限制
4. 训练详情
5. 评估
6. 环境影响
7. 引用
8. 模型卡作者
9. 快速开始

模型详情

模型描述

文本到文本转换器(T5)开发者在博客中写道：

通过T5，我们提出将所有NLP任务重构为统一的文本到文本格式——输入输出始终是文本字符串，这与BERT类模型只能输出类别标签或输入片段不同。我们的文本到文本框架允许在任何NLP任务上使用相同的模型、损失函数和超参数。

T5-Small是具有6000万参数的检查点。

• 开发者：Colin Raffel等（详见论文和GitHub仓库）
• 模型类型：语言模型
• 支持语言：英语、法语、罗马尼亚语、德语
• 许可证：Apache 2.0
• 相关模型：所有T5检查点
• 资源：
  • 研究论文
  • 谷歌T5博客
  • GitHub仓库
  • Hugging Face文档

用途

直接使用与下游任务

开发者在博客中指出：

我们的文本到文本框架支持机器翻译、文档摘要、问答、分类任务（如情感分析），甚至可通过预测数字的字符串表示来处理回归任务。

非适用场景

待补充

偏见、风险与限制

待补充

建议

待补充

训练详情

训练数据

模型基于大规模清洁爬取语料库(C4)预训练，采用多任务混合方式：

1. 无监督去噪目标：
   • C4
   • Wiki-DPR
2. 有监督文本生成目标：
   • 24个NLP基准数据集（包含语法判断、情感分析、语义相似度、推理等任务）

训练过程

如论文摘要所述：

我们通过将每个语言问题转换为文本到文本格式的统一框架，系统比较了数十种语言理解任务的预训练目标、架构、数据集和迁移方法。

评估

测试数据与指标

在24个任务上进行评估（详见论文表14）

环境影响

碳排放估算可参考机器学习影响计算器

• 硬件：Google Cloud TPU Pods
• 其他信息：待补充

引用

BibTeX:

@article{2020t5,
  author  = {Colin Raffel et al.},
  title   = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {Journal of Machine Learning Research},
  year    = {2020},
  volume  = {21},
  number  = {140},
  pages   = {1-67},
  url     = {http://jmlr.org/papers/v21/20-074.html}
}

模型卡作者

Hugging Face团队

快速开始

from transformers import T5Tokenizer, T5Model

tokenizer = T5Tokenizer.from_pretrained("t5-small")
model = T5Model.from_pretrained("t5-small")

input_ids = tokenizer(
    "Studies have been shown that owning a dog is good for you", return_tensors="pt"
).input_ids
decoder_input_ids = tokenizer("Studies show that", return_tensors="pt").input_ids

outputs = model(input_ids=input_ids, decoder_input_ids=decoder_input_ids)

更多示例参见Hugging Face文档和开发者提供的Colab笔记本