language: nl
datasets:

• mC4
• Dutch_news

Pino（荷兰语BigBird）基础模型

由Dat Nguyen和Yeb Havinga在Hugging Face社区周期间创建

（尚未完成）

BigBird是一种基于稀疏注意力的Transformer模型，它将基于Transformer的模型（如BERT）扩展到更长的序列。此外，BigBird还附带了对稀疏模型能够处理的完整Transformer能力的理论理解。

这是一个使用掩码语言建模（MLM）目标在荷兰语上预训练的模型。它在这篇论文中首次提出，并在此代码库中首次发布。

模型描述

BigBird依赖于块稀疏注意力，而不是普通注意力（即BERT的注意力），并且可以处理长达4096的序列，与BERT相比，计算成本大大降低。它在涉及超长序列的各种任务中取得了最先进的成果，例如长文档摘要、长上下文问答等。

使用方法

以下是如何在PyTorch中使用此模型获取给定文本的特征：

from transformers import BigBirdModel  

# 默认情况下，它处于`block_sparse`模式，num_random_blocks=3，block_size=64  
model = BigBirdModel.from_pretrained("flax-community/pino-bigbird-roberta-base")  

# 你可以像这样将`attention_type`更改为完全注意力：  
model = BigBirdModel.from_pretrained("flax-community/pino-bigbird-roberta-base", attention_type="original_full")  

# 你可以像这样更改`block_size`和`num_random_blocks`：  
model = BigBirdModel.from_pretrained("flax-community/pino-bigbird-roberta-base", block_size=16, num_random_blocks=2)  

训练数据

此模型在四个公开可用的数据集上进行了预训练：mC4和从NRC和Nu.nl抓取的荷兰新闻。它使用了快速的通用字节级BPE（BBPE），与RoBERTa（其词汇表又借用了GPT2）的句子片段分词器和词汇表形成对比。

训练过程

数据清理步骤如下：

• 删除包含HTML代码/JavaScript代码/loremipsum/政策的内容
• 删除没有结束标记的行
• 删除过短的文本、单词
• 删除过长的文本、单词
• 删除不良词汇

BibTeX条目和引用信息

@misc{zaheer2021big,  
      title={Big Bird: Transformers for Longer Sequences},   
      author={Manzil Zaheer and Guru Guruganesh and Avinava Dubey and Joshua Ainslie and Chris Alberti and Santiago Ontanon and Philip Pham and Anirudh Ravula and Qifan Wang and Li Yang and Amr Ahmed},  
      year={2021},  
      eprint={2007.14062},  
      archivePrefix={arXiv},  
      primaryClass={cs.LG}  
}