语言：英语
许可证：Apache-2.0
数据集：

• big_patent
  标签：
• 摘要生成

BigBirdPegasus模型（大型）

BigBird是一种基于稀疏注意力的Transformer模型，它扩展了基于Transformer的模型（如BERT），能够处理更长的序列。此外，BigBird还从理论上阐释了稀疏模型所能处理的完整Transformer能力边界。

BigBird在这篇论文中首次提出，并在该代码库中首次发布。

免责声明：发布BigBird的团队未为此模型编写模型卡，本模型卡由Hugging Face团队撰写。

模型描述

BigBird采用块稀疏注意力机制替代常规注意力（如BERT的注意力），能以远低于BERT的计算成本处理长达4096的序列。在涉及超长序列的任务（如长文档摘要、长上下文问答等）中实现了最先进的性能。

使用方法

以下示例展示如何在PyTorch中使用该模型获取文本特征：

from transformers import BigBirdPegasusForConditionalGeneration, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("google/bigbird-pegasus-large-bigpatent")

# 默认编码器注意力为`block_sparse`模式，num_random_blocks=3, block_size=64
model = BigBirdPegasusForConditionalGeneration.from_pretrained("google/bigbird-pegasus-large-bigpatent")

# 解码器注意力类型不可更改，固定为"original_full"
# 可按如下方式将编码器注意力类型改为全注意力：
model = BigBirdPegasusForConditionalGeneration.from_pretrained("google/bigbird-pegasus-large-bigpatent", attention_type="original_full")

# 可调整块大小和随机块数量：
model = BigBirdPegasusForConditionalGeneration.from_pretrained("google/bigbird-pegasus-large-bigpatent", block_size=16, num_random_blocks=2)

text = "替换为任意文本"
inputs = tokenizer(text, return_tensors='pt')
prediction = model.generate(**inputs)
prediction = tokenizer.batch_decode(prediction)

训练过程

该检查点是通过在big_patent数据集上对BigBirdPegasusForConditionalGeneration进行摘要生成任务微调后获得的。

BibTeX条目及引用信息

@misc{zaheer2021big,
      title={Big Bird: Transformers for Longer Sequences}, 
      author={Manzil Zaheer and Guru Guruganesh and Avinava Dubey and Joshua Ainslie and Chris Alberti and Santiago Ontanon and Philip Pham and Anirudh Ravula and Qifan Wang and Li Yang and Amr Ahmed},
      year={2021},
      eprint={2007.14062},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}