KoBigBird

韩语预训练BigBird模型（kobigbird-bert-base）

概述

BigBird是一种基于稀疏注意力的Transformer模型，它将基于Transformer的模型（如BERT）扩展到更长的序列处理能力。

BigBird采用块稀疏注意力机制替代常规注意力机制（如BERT的注意力），能以远低于BERT的计算成本处理最长4096的序列。

本模型是基于韩语BERT检查点进行热启动训练的。

使用方法

注意： 请使用BertTokenizer而非BigBirdTokenizer（AutoTokenizer会自动加载BertTokenizer）

from transformers import AutoModel, AutoTokenizer

# 默认使用`block_sparse`模式，参数为num_random_blocks=3, block_size=64
model = AutoModel.from_pretrained("monologg/kobigbird-bert-base")

# 可通过以下方式切换为全注意力模式：
model = AutoModel.from_pretrained("monologg/kobigbird-bert-base", attention_type="original_full")

# 可通过以下方式调整块大小和随机块数量：
model = AutoModel.from_pretrained("monologg/kobigbird-bert-base", block_size=16, num_random_blocks=2)

tokenizer = AutoTokenizer.from_pretrained("monologg/kobigbird-bert-base")
text = "正式发布韩语BigBird模型！"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)