license: apache-2.0
language: en

LongT5（瞬态全局注意力机制，基础规模模型）

基于英语预训练的LongT5模型。该模型由Guo等人在论文《LongT5：面向长序列的高效文本到文本转换器》中提出，并首次发布于LongT5代码库。所有模型架构与配置可在Flaxformer代码库查看，该库使用了另一个谷歌研究项目T5x的框架。

免责声明：LongT5发布团队未编写本模型卡片，当前内容由Hugging Face团队撰写。

模型描述

LongT5是基于编码器-解码器架构的Transformer模型，采用文本到文本去噪生成任务进行预训练（类似Pegasus的生成式预训练方法）。作为T5模型的扩展，LongT5支持两种高效注意力机制：(1) 局部注意力 或 (2) 瞬态-全局注意力。通过注意力稀疏化设计，模型能高效处理长序列输入。

LongT5在需要处理长文本序列（最高16,384个标记）的生成任务（如摘要生成、问答系统）微调时表现尤为突出。

适用范围与限制

该模型主要适用于有监督数据集的微调任务。可访问模型中心查找相关任务的微调版本。

使用方法

from transformers import AutoTokenizer, LongT5Model

tokenizer = AutoTokenizer.from_pretrained("google/long-t5-tglobal-base")
model = LongT5Model.from_pretrained("google/long-t5-tglobal-base")

inputs = tokenizer("你好，我的小狗很可爱", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

BibTeX引用信息

@article{guo2021longt5,
  title={LongT5: Efficient Text-To-Text Transformer for Long Sequences},
  author={Guo, Mandy and Ainslie, Joshua and Uthus, David and Ontanon, Santiago and Ni, Jianmo and Sung, Yun-Hsuan and Yang, Yinfei},
  journal={arXiv preprint arXiv:2112.07916},
  year={2021}
}