L

Lsg Bart Large 4096

由 ccdv 开发
LSG模型是基于BART-large改进的长序列处理模型,采用局部+稀疏+全局注意力机制,高效处理长文本任务
下载量 15
发布时间 : 3/2/2022

模型简介

该模型针对编码器-解码器任务优化,能高效处理长序列输入,相比传统长序列模型具有更快速度和更高效率

模型特点

高效长序列处理
采用局部+稀疏+全局注意力机制(LSG),显著提升长文本处理效率
自适应序列长度
支持自动填充序列长度至分块大小的整数倍,确保处理稳定性
多模式稀疏选择
提供6种稀疏选择模式(如BOS池化、LSH聚类等),适应不同任务需求
兼容原始架构
保持与BART-large相同的参数规模和层数,共享相同分词器

模型能力

长文本摘要生成
序列到序列转换
高效处理4096长度输入
文本分类

使用案例

文本摘要
长文档自动摘要
对科研论文、长篇文章等超长文本生成精准摘要
相比传统模型处理速度提升显著
文本处理
长文本分类
对超长文档进行分类任务
保持高准确率的同时降低内存消耗
AIbase
智启未来,您的人工智能解决方案智库
简体中文