🚀 FLAN - T5基础模型卡

FLAN - T5 base是一款强大的语言模型，在多种自然语言处理任务上表现出色。它基于T5模型进行微调，支持多语言处理，可用于研究零样本和少样本学习等NLP任务。

🚀 快速开始

模型使用示例

以下是在transformers库中使用该模型的示例脚本：

基础用法

# 使用Pytorch模型在CPU上运行
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-base")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-base")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

高级用法

在GPU上运行模型

# pip install accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-base")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-base", device_map="auto")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

在GPU上使用不同精度运行模型

• FP16精度

# pip install accelerate
import torch
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-base")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-base", device_map="auto", torch_dtype=torch.float16)

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

• INT8精度

# pip install bitsandbytes accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-base")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-base", device_map="auto", load_in_8bit=True)

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 多语言支持：支持英语、西班牙语、日语、波斯语、印地语等多种语言。
• 任务多样性：可用于翻译、问答、逻辑推理、科学知识问答等多种NLP任务。
• 少样本学习能力：经过微调后，在零样本和少样本学习任务上表现出色。

📦 安装指南

文档未提供具体安装步骤，可参考transformers库的官方安装指南进行安装。

📚 详细文档

模型详情

模型描述

使用场景

直接使用和下游使用

该模型的主要用途是进行语言模型的研究，包括零样本NLP任务和上下文少样本学习NLP任务的研究，如推理和问答；推动公平性和安全性研究，以及了解当前大型语言模型的局限性。更多详细信息请参考研究论文。

超出适用范围的使用

需要更多信息。

偏差、风险和局限性

伦理考量和风险

FLAN - T5在大量文本数据语料库上进行微调，这些数据未经过显式内容过滤或现有偏差评估。因此，该模型本身可能容易生成同样不适当的内容，或复制底层数据中固有的偏差。

已知局限性

FLAN - T5尚未在现实世界应用中进行测试。

敏感使用

FLAN - T5不应应用于任何不可接受的用例，例如生成辱骂性言论。

训练详情

训练数据

该模型在多种任务的混合数据上进行训练，包括下表（来自原论文图2）中描述的任务：

训练过程

这些模型基于预训练的T5（Raffel等人，2020），并使用指令进行微调，以获得更好的零样本和少样本性能。每个T5模型大小对应一个微调后的Flan模型。该模型在TPU v3或TPU v4 pod上进行训练，使用t5x代码库和jax。

评估

测试数据、因素和指标

作者在涵盖多种语言（总共1836种）的各种任务上对模型进行了评估。以下是一些定量评估结果： 完整详情请查看研究论文。

结果

FLAN - T5 - Base的完整评估结果请查看研究论文中的表3。

环境影响

可以使用Lacoste等人（2019）中提出的机器学习影响计算器来估算碳排放。

• 硬件类型：Google Cloud TPU Pods - TPU v3或TPU v4 | 芯片数量 ≥ 4。
• 使用时长：需要更多信息。
• 云服务提供商：GCP。
• 计算区域：需要更多信息。
• 碳排放：需要更多信息。

引用

BibTeX引用：

@misc{https://doi.org/10.48550/arxiv.2210.11416,
  doi = {10.48550/ARXIV.2210.11416},
  
  url = {https://arxiv.org/abs/2210.11416},
  
  author = {Chung, Hyung Won and Hou, Le and Longpre, Shayne and Zoph, Barret and Tay, Yi and Fedus, William and Li, Eric and Wang, Xuezhi and Dehghani, Mostafa and Brahma, Siddhartha and Webson, Albert and Gu, Shixiang Shane and Dai, Zhuyun and Suzgun, Mirac and Chen, Xinyun and Chowdhery, Aakanksha and Narang, Sharan and Mishra, Gaurav and Yu, Adams and Zhao, Vincent and Huang, Yanping and Dai, Andrew and Yu, Hongkun and Petrov, Slav and Chi, Ed H. and Dean, Jeff and Devlin, Jacob and Roberts, Adam and Zhou, Denny and Le, Quoc V. and Wei, Jason},
  
  keywords = {Machine Learning (cs.LG), Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
  
  title = {Scaling Instruction-Finetuned Language Models},
  
  publisher = {arXiv},
  
  year = {2022},
  
  copyright = {Creative Commons Attribution 4.0 International}
}

模型回收

以google/flan-t5-base为基础模型，在36个数据集上进行评估，平均得分达到77.98，而google/t5-v1_1-base的平均得分是68.82。截至2023年2月6日，该模型在所有测试的google/t5-v1_1-base架构模型中排名第一。结果如下：

更多信息请查看：模型回收

📄 许可证

本模型使用Apache 2.0许可证。