引言

谷歌LongT5：面向长序列的高效文本到文本Transformer作为成功模型T5的扩展被提出。

这是一个非官方的longt5-large-16384-pubmed-3k_steps检查点。即这是LongT5模型的大规模配置版本，采用transient-global注意力机制，并在PubMed摘要数据集上进行了3,000步微调。由于模型尚未训练至收敛，继续微调可能获得更好效果。

结果与微调细节

使用beam_search=3且未调整生成参数时，微调模型在评估集上的结果如下（原始论文分数更高，可能因其训练步数更多）：

训练参数遵循论文设定：累计批大小128，使用Adafactor优化器（恒定学习率0.001）。完整超参数和日志见W&B记录，训练基于HuggingFace的seq2seq训练器。

唯一调整是过滤了过短输入文章（少于16词/应少于16token），因其在transient-global注意力中不贡献梯度，会导致DDP训练崩溃。

使用示例

长文章 = """焦虑对帕金森病(PD)患者生活质量的影响超过整体认知状态、运动障碍、淡漠和抑郁[13]...（中略）..."""

from transformers import AutoTokenizer, LongT5ForConditionalGeneration

tokenizer = AutoTokenizer.from_pretrained("Stancld/longt5-tglobal-large-16384-pubmed-3k_steps")
input_ids = tokenizer(长文章, return_tensors="pt").input_ids.to("cuda")

model = LongT5ForConditionalGeneration.from_pretrained("Stancld/longt5-tglobal-large-16384-pubmed-3k_steps", return_dict_in_generate=True).to("cuda")

sequences = model.generate(input_ids)
summary = tokenizer.batch_decode(sequences)