AIbase

稀疏注意力
Bigbird Roberta Large
Apache-2.0
BigBird是一种基于稀疏注意力的Transformer模型，能够处理长达4096的序列，适用于长文档任务。
大型语言模型
英语
B
google
1,152
27
Bigbird Base Trivia Itc
Apache-2.0
基于bigbird-roberta-base的微调模型，专为trivia问答任务优化，支持长序列处理。
问答系统
英语
B
google
1,049
8
Pino Bigbird Roberta Base
Pino是基于BigBird架构的荷兰语预训练模型，采用稀疏注意力机制处理长序列文本，支持最长4096的序列长度。
大型语言模型
其他
P
flax-community
17
2
Bigbird Roberta Base Finetuned App
MIT
基于稀疏注意力的Transformer模型，专为移动应用描述分类任务微调
文本分类
Transformers
英语
B
nsi319
15
0
Bigbird Pegasus Large Pubmed
Apache-2.0
BigBirdPegasus 是一种基于稀疏注意力的 Transformer 模型，能够处理更长的序列，特别适用于长文档摘要任务。
文本生成
Transformers
英语
B
google
2,031
47
Bigbird Pegasus Large Arxiv
Apache-2.0
BigBird是一种基于稀疏注意力的Transformer模型，能够处理更长的序列，适用于长文档摘要等任务。
文本生成
Transformers
英语
B
google
8,528
61
Bigbird Pegasus Large Bigpatent
Apache-2.0
BigBird是一种基于稀疏注意力的Transformer模型，能够处理长达4096的序列，适用于长文档摘要等任务。
文本生成
Transformers
英语
B
google
945
40
Lsg Legal Small Uncased 4096
基于LEGAL-BERT的小型版本，采用局部+稀疏+全局注意力机制(LSG)高效处理长序列
大型语言模型
Transformers
英语
L
ccdv
1,088
0