AIbase

B

Bart Base Cnn R2 18.7 D23 Hybrid

由 echarlaix 开发
这是一个经过剪枝优化的BART-base模型，专门针对CNN/DailyMail数据集进行微调，用于摘要生成任务。
文本生成
Transformers
英语
开源协议:Apache-2.0#新闻摘要生成#权重剪枝优化#高效注意力机制
下载量 18
发布时间 : 3/2/2022
模型介绍
内容详情
替代品

模型简介

该模型基于facebook/bart-base架构，通过nn_pruning库进行剪枝优化，保留了23%的线性层权重和45%的总体权重，移除了28.2%的注意力头，在保持较好性能的同时减少了模型大小。

模型特点

高效剪枝
使用nn_pruning技术进行剪枝，仅保留23%的线性层权重，整体保留45%原始权重，显著减小模型体积。
注意力头优化
通过块剪枝移除了28.2%的注意力头(61/216)，提高推理效率。
专业微调
针对CNN/DailyMail新闻摘要数据集进行专门优化，在Rouge指标上表现良好。

模型能力

文本摘要生成
新闻内容压缩
英语文本处理

使用案例

新闻处理
新闻摘要生成
自动生成新闻文章的简短摘要
Rouge-1:41.43, Rouge-2:18.72, Rouge-L:38.35
内容压缩
长文本压缩
将长篇文章压缩为关键信息摘要