语言: 英文
许可证: apache-2.0
数据集:

• 书籍语料库
• 维基百科
• 新闻语料库

BigBird大型模型

BigBird是一种基于稀疏注意力的Transformer模型，它将基于Transformer的模型（如BERT）扩展到更长的序列。此外，BigBird还从理论上完整理解了稀疏模型能够处理的Transformer能力。

该模型是通过掩码语言建模（MLM）目标在英语语料上预训练的。它在这篇论文中首次提出，并在此代码库中发布。

免责声明：发布BigBird的团队未为此模型编写模型卡，因此本模型卡由Hugging Face团队编写。

模型描述

BigBird依赖于块稀疏注意力而非普通注意力（如BERT的注意力），能够以比BERT低得多的计算成本处理长达4096的序列。它在涉及超长序列的各种任务中达到了最先进水平，例如长文档摘要、长上下文问答等。

使用方法

以下是如何在PyTorch中使用此模型获取给定文本的特征：

from transformers import BigBirdModel  

# 默认使用`block_sparse`模式，num_random_blocks=3, block_size=64  
model = BigBirdModel.from_pretrained("google/bigbird-roberta-large")  

# 可以像这样将`attention_type`改为全注意力模式：  
model = BigBirdModel.from_pretrained("google/bigbird-roberta-large", attention_type="original_full")  

# 也可以调整`block_size`和`num_random_blocks`：  
model = BigBirdModel.from_pretrained("google/bigbird-roberta-large", block_size=16, num_random_blocks=2)  

text = "替换为任意你想要的文本。"  
encoded_input = tokenizer(text, return_tensors='pt')  
output = model(**encoded_input)  

训练数据

该模型在四个公开数据集上进行了预训练：书籍、新闻语料库、故事和维基百科。它使用了与RoBERTa相同的句子分词词汇表（该词汇表又来自GPT2）。

训练过程

长度超过4096的文档被分割为多个文档，而远小于4096的文档则被合并。遵循原始BERT的训练方式，15%的标记被掩码，模型通过预测这些掩码进行训练。

模型是从RoBERTa的检查点热启动的。

BibTeX条目及引用信息

@misc{zaheer2021big,  
      title={Big Bird: Transformers for Longer Sequences},   
      author={Manzil Zaheer and Guru Guruganesh and Avinava Dubey and Joshua Ainslie and Chris Alberti and Santiago Ontanon and Philip Pham and Anirudh Ravula and Qifan Wang and Li Yang and Amr Ahmed},  
      year={2021},  
      eprint={2007.14062},  
      archivePrefix={arXiv},  
      primaryClass={cs.LG}  
}