基于LSG注意力机制的长序列处理模型，专为科学论文摘要生成任务微调

基于BART架构的长序列处理模型，专为科学论文摘要生成任务优化，支持16384长度的长文本输入

BigBirdPegasus 是一种基于稀疏注意力的 Transformer 模型，能够处理更长的序列，特别适用于长文档摘要任务。

BigBird是一种基于稀疏注意力的Transformer模型，能够处理更长的序列，适用于长文档摘要等任务。