AIbase

4096标记长度
Clinical BigBird
基于BigBird架构、通过MIMIC-III临床记录进一步预训练的医学知识增强模型，支持4096个标记的输入长度，在多个医学NLP任务上超越ClinicalBERT。
大型语言模型
Transformers
英语
C
yikuan8
2,320
13
Xlm Roberta Longformer Base 4096
Apache-2.0
基于XLM-R扩展的长序列处理模型，支持最长4096标记的序列处理，适用于多语言任务
大型语言模型
Transformers
其他
X
markussagen
9,499
37
Clinical Longformer
基于Longformer架构的临床知识增强模型，支持4096标记长度输入，在10个基准数据集上超越ClinicalBERT至少2个百分点。
大型语言模型
Transformers
英语
C
yikuan8
58.27k
62
Longformer Base 4096 Finetuned Squadv1
MIT
基于LONGFORMER-BASE-4096模型在SQuAD v1问答数据集上的微调版本，适用于处理长文档问答任务
问答系统
L
valhalla
806
22
Distil Bigbird Fa Zwnj
ParsBigBird是基于BigBird框架的波斯语Bert模型，支持处理长达4096标记的文本序列
大型语言模型
Transformers
D
SajjadAyoubi
24
0
Xlm Roberta Longformer Base 4096
Apache-2.0
基于XLM-RoBERTa扩展的长序列模型，支持最长4096标记的序列处理，适用于多语言任务
大型语言模型
Transformers
其他
X
Peltarion
64
8