AIbase

B

Bart Base Cnn R2 19.4 D35 Hybrid

由 echarlaix 开发
这是一个经过剪枝优化的BART-base模型，专为摘要生成任务设计，保留了原始模型53%的权重。
文本生成
Transformers
英语
开源协议:Apache-2.0#新闻摘要生成#剪枝优化模型#Rouge高分
下载量 20
发布时间 : 3/2/2022
模型介绍
内容详情
替代品

模型简介

该模型是基于facebook/bart-base微调的摘要生成模型，使用nn_pruning库进行剪枝优化，在CNN/DailyMail数据集上表现出色。

模型特点

高效剪枝
使用nn_pruning技术剪枝，仅保留35%的线性层权重，整体保留53%原始权重。
注意力头优化
216个注意力头中移除了38个(17.6%)，提高了模型效率。
高性能摘要
在CNN/DailyMail数据集上取得优秀的Rouge分数。

模型能力

文本摘要生成
长文本压缩
新闻内容提炼

使用案例

新闻处理
新闻摘要生成
自动生成新闻文章的简洁摘要
Rouge-1:42.18, Rouge-2:19.44, Rouge-L:39.17
内容分析
长文档摘要
对长文档进行关键信息提取和总结