BigBird基础版-trivia问答模型

此模型是基于bigbird-roberta-base的微调检查点，通过在trivia_qa数据集上使用BigBirdForQuestionAnsweringHead进行顶部微调而成。

查看此链接了解google/bigbird-base-trivia-itc在问答任务上的表现。

使用方法

以下是在PyTorch中使用该模型获取给定文本特征的方法：

from transformers import BigBirdForQuestionAnswering

# 默认使用`block_sparse`模式，num_random_blocks=3, block_size=64
model = BigBirdForQuestionAnswering.from_pretrained("google/bigbird-base-trivia-itc")

# 可以像这样将`attention_type`改为全注意力模式：
model = BigBirdForQuestionAnswering.from_pretrained("google/bigbird-base-trivia-itc", attention_type="original_full")

# 可以像这样修改`block_size`和`num_random_blocks`：
model = BigBirdForQuestionAnswering.from_pretrained("google/bigbird-base-trivia-itc", block_size=16, num_random_blocks=2)

question = "替换为你想要的任何文本"
context = "提供回答问题的上下文"
encoded_input = tokenizer(question, context, return_tensors='pt')
output = model(**encoded_input)

微调配置与超参数

• 全局token数 = 128
• 窗口长度 = 192
• 随机token数 = 192
• 最大序列长度 = 4096
• 注意力头数 = 12
• 隐藏层数 = 12
• 隐藏层大小 = 768
• 批处理大小 = 32
• 损失函数 = 交叉熵噪声跨度

BibTeX条目及引用信息

@misc{zaheer2021big,
      title={Big Bird: Transformers for Longer Sequences}, 
      author={Manzil Zaheer and Guru Guruganesh and Avinava Dubey and Joshua Ainslie and Chris Alberti and Santiago Ontanon and Philip Pham and Anirudh Ravula and Qifan Wang and Li Yang and Amr Ahmed},
      year={2021},
      eprint={2007.14062},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}