🚀 FLAN - T5 large模型卡片

FLAN - T5 large是基于预训练T5模型进行微调的语言模型，在超过1000个额外任务上进行了微调，覆盖更多语言，能在零样本和少样本任务中表现出色，可用于语言研究、推理、问答等场景。

🚀 快速开始

模型使用示例

在transformers库中使用该模型的示例脚本如下：

使用PyTorch模型

在CPU上运行模型

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-large")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-large")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

在GPU上运行模型

# pip install accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-large")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-large", device_map="auto")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

在GPU上使用不同精度运行模型

FP16

# pip install accelerate
import torch
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-large")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-large", device_map="auto", torch_dtype=torch.float16)

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

INT8

# pip install bitsandbytes accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-large")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-large", device_map="auto", load_in_8bit=True)

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 多语言支持：支持英语、西班牙语、日语、波斯语、印地语等多种语言。
• 任务多样性：可用于文本到文本生成任务，如翻译、问答、逻辑推理、科学知识问答等。
• 少样本和零样本性能：基于预训练T5模型微调，在零样本和少样本任务中表现出色。

📦 安装指南

文档未提及具体安装步骤，可参考Hugging Face的transformers库安装说明来安装所需依赖。

📚 详细文档

模型详情

模型描述

应用场景

直接使用和下游使用

该模型主要用于语言模型研究，包括零样本NLP任务和上下文少样本学习NLP任务，如推理和问答；推动公平性和安全性研究，以及了解当前大语言模型的局限性。详情可参考研究论文。

超出适用范围的使用

需要更多信息。

偏差、风险和局限性

伦理考量和风险

FLAN - T5在未对明确内容进行过滤或对现有偏差进行评估的大量文本数据语料库上进行微调。因此，该模型本身可能容易生成同样不适当的内容或复制基础数据中固有的偏差。

已知局限性

FLAN - T5尚未在现实世界应用中进行测试。

敏感使用

FLAN - T5不应应用于任何不可接受的用例，例如生成辱骂性言论。

训练详情

训练数据

该模型在多种任务的混合数据上进行训练，包括原论文图2中描述的任务：

训练过程

这些模型基于预训练的T5（Raffel等人，2020），并使用指令进行微调，以获得更好的零样本和少样本性能。每个T5模型大小对应一个微调后的Flan模型。该模型在TPU v3或TPU v4 pod上使用t5x代码库和jax进行训练。

评估

测试数据、因素和指标

作者在涵盖多种语言（总共1836种）的各种任务上对模型进行了评估。定量评估如下： 完整详情请查看研究论文。

评估结果

FLAN - T5 - Large的完整评估结果请查看研究论文中的表3。

环境影响

可以使用机器学习影响计算器（来自Lacoste等人（2019））来估算碳排放。

引用

@misc{https://doi.org/10.48550/arxiv.2210.11416,
  doi = {10.48550/ARXIV.2210.11416},
  
  url = {https://arxiv.org/abs/2210.11416},
  
  author = {Chung, Hyung Won and Hou, Le and Longpre, Shayne and Zoph, Barret and Tay, Yi and Fedus, William and Li, Eric and Wang, Xuezhi and Dehghani, Mostafa and Brahma, Siddhartha and Webson, Albert and Gu, Shixiang Shane and Dai, Zhuyun and Suzgun, Mirac and Chen, Xinyun and Chowdhery, Aakanksha and Narang, Sharan and Mishra, Gaurav and Yu, Adams and Zhao, Vincent and Huang, Yanping and Dai, Andrew and Yu, Hongkun and Petrov, Slav and Chi, Ed H. and Dean, Jeff and Devlin, Jacob and Roberts, Adam and Zhou, Denny and Le, Quoc V. and Wei, Jason},
  
  keywords = {Machine Learning (cs.LG), Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
  
  title = {Scaling Instruction-Finetuned Language Models},
  
  publisher = {arXiv},
  
  year = {2022},
  
  copyright = {Creative Commons Attribution 4.0 International}
}

📄 许可证

本模型使用的许可证为Apache - 2.0。