语言:

• 英语
• 法语
• 罗马尼亚语
• 德语
• 多语言

功能示例:

• 文本: "翻译成德语：我的名字是亚瑟" 示例标题: "翻译"
• 文本: "请回答以下问题。谁将成为下一位金球奖得主？" 示例标题: "问答"
• 文本: "问：杰弗里·辛顿能和乔治·华盛顿对话吗？回答前请给出理由。" 示例标题: "逻辑推理"
• 文本: "请回答以下问题。氮的沸点是多少？" 示例标题: "科学知识"
• 文本: "回答以下是非题。你能在一条推文中写完整首俳句吗？" 示例标题: "是非题"
• 文本: "通过逐步推理回答以下是非题。你能在一条推文中写完整首俳句吗？" 示例标题: "推理任务"
• 文本: "问：(假或非假或假)的结果是？答：让我们逐步思考" 示例标题: "布尔表达式"
• 文本: "x的平方根是y的立方根。如果x=4，y的平方是多少？" 示例标题: "数学推理"
• 文本: "前提：在我这个年纪，你可能已经学会了一个教训。假设：无法确定你到三十多岁时会学到多少教训。前提是否蕴含假设？" 示例标题: "前提与假设"

标签:

• 文本生成

数据集:

• svakulenk0/qrecc
• taskmaster2
• djaym7/wiki_dialog
• deepmind/code_contests
• lambada
• gsm8k
• aqua_rat
• esnli
• quasc
• qed

许可证: apache-2.0

FLAN-T5 XL模型卡片

目录

0. 摘要
1. 模型详情
2. 使用方法
3. 用途
4. 偏见、风险与限制
5. 训练详情
6. 评估
7. 环境影响
8. 引用

摘要

如果您已了解T5，那么FLAN-T5在各方面表现更优。相同参数规模下，这些模型额外微调了覆盖更多语言的1000多项任务。如摘要开头所述：

Flan-PaLM 540B在多项基准测试中达到最先进水平，例如MMLU五样本准确率75.2%。我们还公开了Flan-T5检查点，即使与PaLM 62B等更大模型相比，其小样本表现依然强劲。总体而言，指令微调是提升预训练语言模型性能和可用性的通用方法。

免责声明：本模型卡片内容由Hugging Face团队编写，部分内容复制自T5模型卡片。

模型详情

模型描述

• 模型类型: 语言模型
• 支持语言: 英语、西班牙语、日语、波斯语、印地语、法语、中文、孟加拉语、古吉拉特语、德语、泰卢固语、意大利语、阿拉伯语、波兰语、泰米尔语、马拉地语、马拉雅拉姆语、奥里亚语、旁遮普语、葡萄牙语、乌尔都语、加利西亚语、希伯来语、韩语、加泰罗尼亚语、泰语、荷兰语、印尼语、越南语、保加利亚语、菲律宾语、高棉语、老挝语、土耳其语、俄语、克罗地亚语、瑞典语、约鲁巴语、库尔德语、缅甸语、马来语、捷克语、芬兰语、索马里语、他加禄语、斯瓦希里语、僧伽罗语、卡纳达语、壮语、伊博语、科萨语、罗马尼亚语、海地语、爱沙尼亚语、斯洛伐克语、立陶宛语、希腊语、尼泊尔语、阿萨姆语、挪威语
• 许可证: Apache 2.0
• 相关模型: 所有FLAN-T5检查点
• 原始检查点: 原始FLAN-T5检查点
• 更多资源:
  • 研究论文
  • GitHub仓库
  • Hugging Face文档

使用方法

以下是使用transformers库的示例脚本：

使用PyTorch模型

CPU运行

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-xl")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl")

input_text = "翻译英语到德语：你多大了？"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

GPU运行

# 需安装accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-xl")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl", device_map="auto")

input_text = "翻译英语到德语：你多大了？"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

不同精度运行

FP16精度

import torch
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-xl")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl", device_map="auto", torch_dtype=torch.float16)

input_text = "翻译英语到德语：你多大了？"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

INT8精度

# 需安装bitsandbytes accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-xl")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl", device_map="auto", load_in_8bit=True)

input_text = "翻译英语到德语：你多大了？"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

用途

直接使用与下游任务

原论文指出：

主要用途包括语言模型研究：零样本NLP任务和上下文少样本学习NLP任务研究，如推理和问答；推进公平性与安全性研究，理解当前大语言模型的局限性。

超范围使用

需更多信息。

偏见、风险与限制

来自官方模型卡片：

包括FLAN-T5在内的语言模型可能被有害使用。任何应用前需评估安全性和公平性。

伦理考量

训练数据未过滤不当内容或评估偏见，模型可能生成不当内容或反映数据偏见。

已知限制

未在真实场景中测试。

敏感用途

禁止用于生成侮辱性内容等场景。

训练详情

训练数据

混合任务训练，详见论文图2任务表。

训练过程

基于T5预训练模型，使用指令微调提升零样本和小样本性能。使用TPU v3/v4 Pods和t5x代码库训练。

评估

测试数据与指标

在1836项多语言任务上评估，量化结果见论文表格。

结果

完整结果参见论文表3。

环境影响

碳排放估算可参考ML Impact计算器。

• 硬件类型: Google Cloud TPU Pods
• 使用时长: 需补充
• 云服务商: GCP
• 计算区域: 需补充
• 碳排放量: 需补充

引用

@misc{https://doi.org/10.48550/arxiv.2210.11416,
  doi = {10.48550/ARXIV.2210.11416},
  url = {https://arxiv.org/abs/2210.11416},
  author = {Chung, Hyung Won and Hou, Le and Longpre, Shayne and Zoph, Barret and Tay, Yi and Fedus, William and Li, Eric and Wang, Xuezhi and Dehghani, Mostafa and Brahma, Siddhartha and Webson, Albert and Gu, Shixiang Shane and Dai, Zhuyun and Suzgun, Mirac and Chen, Xinyun and Chowdhery, Aakanksha and Narang, Sharan and Mishra, Gaurav and Yu, Adams and Zhao, Vincent and Huang, Yanping and Dai, Andrew and Yu, Hongkun and Petrov, Slav and Chi, Ed H. and Dean, Jeff and Devlin, Jacob and Roberts, Adam and Zhou, Denny and Le, Quoc V. and Wei, Jason},
  title = {Scaling Instruction-Finetuned Language Models},
  publisher = {arXiv},
  year = {2022},
  copyright = {知识共享署名4.0国际许可}
}