基于facebook/bart-base在xsum数据集上微调的摘要生成模型，擅长生成简洁准确的摘要。
下载量 15
发布时间 : 9/18/2022
模型介绍
内容详情
替代品
模型简介
该模型是基于BART架构的预训练模型，专门针对摘要生成任务进行了微调，特别适用于生成新闻文章的简短摘要。
模型特点
高效摘要生成
在XSUM数据集上表现出色，能够生成简洁准确的新闻摘要。
多数据集适应
不仅在XSUM数据集上表现良好，也能适应CNN/DailyMail等不同风格的摘要生成任务。
稳定训练过程
经过10轮训练，验证指标稳定提升，显示出良好的训练收敛性。
模型能力
文本摘要生成
新闻内容提炼
长文本压缩
使用案例
新闻媒体
新闻摘要生成
自动为长篇新闻文章生成简洁摘要
在XSUM测试集上ROUGE-1得分38.6513
内容分析
文档内容提炼
从长文档中提取关键信息
在CNN/DailyMail测试集上ROUGE-1得分14.9833
许可证：apache-2.0
标签：
- 训练生成
- 摘要生成
基础模型：facebook/bart-base
模型索引：
- 名称：bart-base-xsum
结果：-
任务：
类型：摘要生成
名称：摘要生成
数据集：
名称：xsum
类型：xsum
配置：默认
拆分：测试集
指标：- 类型：rouge
值：38.6513
名称：ROUGE-1
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNmIyOTlhYjQ1NTgyMDZiMThjN2NhOTU2N2JiOWRlNmYzMzIyYzQ5NmY1NjdmZWM1ZTBmNDkwYWNlNGJmMjI5ZiIsInZlcnNpb24iOjF9.JW9NwjJOl1i41VQNH12NhOrOgRTTKwm4dirFYxUKDw-QQ9qbNkGe1iut9MAsiS3RVfxzrEM9r_e-craaN06KBA - 类型：rouge
值：17.7585
名称：ROUGE-2
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiMzcwMTZhODVjMDI4NjBiMDI1ZDNiZjlhZjc2Nzk3ZmQxNmZhYzlkNDUwMWE2NDNlOGE0Y2I4YzdlZWFlYmY1YSIsInZlcnNpb24iOjF9.GAt22--gTCqKOOeUMGtbtkcsjlS6rONCxiU9YXbPz78lwpdmXsLf1d-bo4JNmMLSd8v8n9UMzGPtUYpSKTiDCQ - 类型：rouge
值：32.2033
名称：ROUGE-L
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiZGJlOWVhY2M4YjNhZmQzMjRhZDk0NGMyN2U3MDI2ZDYxY2I4ZDA5M2RjZjg5MmFlZTgwYTdjNDM0ZjUxN2NmZiIsInZlcnNpb24iOjF9.FZSlI-y-wBrX6SrPjpLAC28oJSCWrRLnFtWnsFQfDZJVOuFFkI4_-R-XSFBrWuC3EzgM2WnuSCmRfzZn3iHWBw - 类型：rouge
值：32.2064
名称：ROUGE-LSUM
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNGFlMWIzZmI4OTRjMDZlOTk2MGNlNTQzZDA1MWZkNjhiYWM2ZTFjZGQ0MDYwNGQ0ZjA3Yzk5OTU5ODEwNmFiNCIsInZlcnNpb24iOjF9.K6Ww1AvjfhEAh2msrBhO9SK2TL9szwTJ04S1F_ejLolrHM_YgoeTx38dlAnibKSHKyYEM2DlJt0qmS7nBKKRCA - 类型：损失
值：1.822434902191162
名称：损失
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNDAyMjBlZTI1MTI4YjRjZmY0ZjliNmNkYTJmY2ZkMjViZGM4MGE1Y2E2MjM0NTNlNDM3MTk1ZGQ0ZWNiZGI3MSIsInZlcnNpb24iOjF9.tA38SX6sMrSATaKdnZbSLxYKDqKIiKseq7yT37gg-6WaU62qw72ij3BZmF-UJWWYCFdNSa-F5FAYkzwL5peGBw - 类型：生成长度
值：19.7028
名称：生成长度
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNzU1Njc2YmYxZGM4NjA3ZTMxZmY2YjBmNjhiZmE5YzA5Y2U2NDNjZDM0MWNjZjAwYjYxZWVmNDZjMDc5MGM2YyIsInZlcnNpb24iOjF9.j7cYnDB8LQ_stl35EaHKKJhqavj9mHVroOkzuk88rV8eRWhpksKg-n1FfbXERhxKIUBrQIWszyMUlEvAV5beBQ
- 类型：rouge
-
任务：
类型：摘要生成
名称：摘要生成
数据集：
名称：xsum
类型：xsum
配置：默认
拆分：验证集
指标：- 类型：rouge
值：38.7415
名称：ROUGE-1
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYjdhZTc4MGUyODM3ZDBjNmVhODRlNDMzNWJmYmNlM2NmZTEwNzc3ZDYwYjllMzc4ZWE4N2FlNWQwNDhjNGZlMiIsInZlcnNpb24iOjF9.a3dZeqsFupDVZOoSrw3FRC7ysZ04930QQKNLLyJkmoSbh6p9J1IVa5Xih3RTmQbYAN2XczTSbpQS7RqpOGE3Dg - 类型：rouge
值：17.8295
名称：ROUGE-2
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYTRmN2ZjMDM3NDgwYzVlODcwNmYwZjVlODcxMGE4ZDU5MDQ2ZDdjMjEzZWE2NmNiYzRiZGZmMzkzN2EzZThlYSIsInZlcnNpb24iOjF9.3E8u6Ia8_ri_qcNjshPFEPEyED3cK1dNJr027fdjn0_DjY7PDsnP6pmeNv4YJJSTWTX_itiX69zcdWK5m4WPCQ - 类型：rouge
值：32.2861
名称：ROUGE-L
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiMzllOGNkYWI4MTdiZDc4MjgxZGUzNWZlYzkyNjlhNTQ3Y2JlMmE0NGZiNGRlMGMxNDkxZWViNjk2OTFmNmJiYyIsInZlcnNpb24iOjF9.cqrqGe65cej66-c3JjQebMx3kiM1nGOVMpN0ZbqnCRFoMdqqCIVG3ZjP-LJY3MptXRqk_sWY_O5kMximu5sgCg - 类型：rouge
值：32.2763
名称：ROUGE-LSUM
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiZGNkZWQzMzcwY2YyYjE3OWM1ZmJiMTExYmViNTU2NjExZDdmMTQ4OGZkOGZiYjk1OWQ0YTY5YjU5NTI0YjQwNiIsInZlcnNpb24iOjF9.pLFILxKJ33wPSDByZz-IQv_ujRzypMeblgc3C7_3eO5egte0_hTnjl4u-m8KLGYy7mfVXFHZPpvihwlShrARDg - 类型：损失
值：1.8132821321487427
名称：损失
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiZmRhM2UxMWRhNjk0NmIxODQyNjEyNmEwMzYyYTc3NGZlN2RlNWYyZjE1M2NlNDQyOTM1ZGU2MDQ1OWY1OTYyYyIsInZlcnNpb24iOjF9.ZTCMjc6AwjXjO7mHiVPCSyYX1eAPX5IDbWSckWIQpH7O9qk8Sm4WXST-q26Mtf4WOkn2u26Lf171ATBH5GyCCg - 类型：生成长度
值：19.7116
名称：生成长度
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiM2JjMzcxZTI0MDQ4ZDk3YTVhYTZjYmRiYmM5MWUwNDM0MjFkOWZiYTNlMWQ1NzA3MDMyNTI5MjY4OGY5ZGYwYiIsInZlcnNpb24iOjF9.JJ41buqEz-r4GSHAAB31_gofuzjEm0fgui9ovJJbJZLTcooGHAbYMBuDAZM8ojwFEu6S2VTR0fJE60OCs278Cg
- 类型：rouge
-
任务：
类型：摘要生成
名称：摘要生成
数据集：
名称：cnn_dailymail
类型：cnn_dailymail
配置：3.0.0
拆分：测试集
指标：- 类型：rouge
值：14.9833
名称：ROUGE-1
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYzkzZGVlOGU3NTViZGI4NGRmYTU3MTY1NGYwZjQzODFlODU0YzI2NjBjM2UwMjNlNzUyM2VjZDdjYmYwYjU5MiIsInZlcnNpb24iOjF9.TJxd_x-OeEeb-8wz5Ixiopppw9UbqZuT8cxNZEdUJ_KvUI0IQ1M9t9wh2m877rWkxEStwXrFAOhMK08uY657Aw - 类型：rouge
值：3.2788
名称：ROUGE-2
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiZDY2NWYyM2ExMjUwODZmOTk2YTk1ZTY4NDFmNDFiNzQ1MTA2YTViZTk4ODIzYzIzMDlkOGE3YjMzOWY0OWZkYSIsInZlcnNpb24iOjF9.wfmE28jxVxpqrpamHdP5-WeKm_LD5NrVeZ1yRjwXo53inVeoUapTQzefMAEmQaTUveL-MLC5rWoQJjiY7QbPBA - 类型：rouge
值：11.0507
名称：ROUGE-L
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiOTlkZDdiZmY1NmExNWE5ZGIwNzYxMDQ1MmQ3YTFlZjIwZjRjYWRkZGQxYjU5MTdkMWQxOGQ2OGJjNjcxNDU2NyIsInZlcnNpb24iOjF9.xpjIB4PV9UxFzeXhxSxZXE8DPOSRVNlveqOeyzWbhEoQ53TZUpNF5f-E0hXBZhzQCxATwQpIvo52W9eZy8PkDg - 类型：rouge
值：13.3138
名称：ROUGE-LSUM
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiMzY4YWIwMmZkY2VmM2JhNDc4OTIzMjFlYzJmZGZkY2QxMjJmMTc1Nzg4MWE2YmRlYTYxZDAwMWRkYmE1OTdlYyIsInZlcnNpb24iOjF9.6f6MhSzeXOD3JdKnqW2_3PxLkbUXTBlorNUSww9Xej8jKS8ojaD_Qz-Mi-sbkdslR67szexaC_JHC13K5SlUCQ - 类型：损失
值：5.7526116371154785
名称：损失
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiZDdlODBhMDA5MGE5MjE0MTYyMGU5ZDFjZDYwZWRlYTc5YTY3MWZiYjRkMjc3MzU1YjlhNWVkMDQ0NTk4Mjg2YSIsInZlcnNpb24iOjF9.pNGicJhe2QvE8R_Mn-W1ZIq00ubP6Vc6_-p91DQJ7dHUWpskGTPwEB0wPp7i-XljMRtLW4oreHkihamIXS53Dw - 类型：生成长度
值：18.3794
名称：生成长度
已验证：true
验证令牌：eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNDQ3YTY2NTFhYTAyMjIzNDhiOWIzYWNmMTliYzEzOTExODI0Zjg5MjQ0MmY3NTJjZDM2OWYwOWQ2YWI4ZmNlYSIsInZlcnNpb24iOjF9.Wx2na6P0y32x2Q2CGiL9G8-8jvNU8pRzlNQrapQniDT8PnXlCw_RlDFn1wpRtv9QZSDizZywp7TxHQ5mTe8wCw
- 类型：rouge
-
bart-base-xsum
训练说明： 该模型使用以下仓库提供的脚本进行训练：https://github.com/MorenoLaQuatra/transformers-tasks-templates
本模型是基于facebook/bart-base在xsum数据集上微调的版本。
在评估集上取得了以下结果：
- 损失：0.8051
- R1：0.5643
- R2：0.3017
- Rl：0.5427
- Rlsum：0.5427
模型描述
需补充更多信息
预期用途与限制
需补充更多信息
训练与评估数据
需补充更多信息
训练过程
训练超参数
训练过程中使用了以下超参数：
- 学习率：5e-05
- 训练批次大小：32
- 评估批次大小：32
- 随机种子：42
- 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
- 学习率调度器类型：线性
- 学习率预热步数：500
- 训练轮次：10
训练结果
| 训练损失 | 轮次 | 步数 | 验证损失 | R1 | R2 | Rl | Rlsum |
|---|---|---|---|---|---|---|---|
| 0.8983 | 1.0 | 6377 | 0.8145 | 0.5443 | 0.2724 | 0.5212 | 0.5211 |
| 0.8211 | 2.0 | 12754 | 0.7940 | 0.5519 | 0.2831 | 0.5295 | 0.5295 |
| 0.7701 | 3.0 | 19131 | 0.7839 | 0.5569 | 0.2896 | 0.5347 | 0.5348 |
| 0.7046 | 4.0 | 25508 | 0.7792 | 0.5615 | 0.2956 | 0.5394 | 0.5393 |
| 0.6837 | 5.0 | 31885 | 0.7806 | 0.5631 | 0.2993 | 0.5416 | 0.5416 |
| 0.6412 | 6.0 | 38262 | 0.7816 | 0.5643 | 0.301 | 0.5427 | 0.5426 |
| 0.6113 | 7.0 | 44639 | 0.7881 | 0.5645 | 0.3017 | 0.5428 | 0.5428 |
| 0.5855 | 8.0 | 51016 | 0.7921 | 0.5651 | 0.303 | 0.5433 | 0.5432 |
| 0.5636 | 9.0 | 57393 | 0.7972 | 0.5649 | 0.3032 | 0.5433 | 0.5433 |
| 0.5482 | 10.0 | 63770 | 0.7996 | 0.565 | 0.3036 | 0.5436 | 0.5435 |
框架版本
- Transformers 4.22.1
- PyTorch 1.11.0+cu113
- Datasets 2.0.0
- Tokenizers 0.11.6
Bart Large Cnn
MIT
基于英语语料预训练的BART模型，专门针对CNN每日邮报数据集进行微调，适用于文本摘要任务
文本生成
英语
B
facebook
3.8M
1,364
Parrot Paraphraser On T5
Parrot是一个基于T5的释义框架，专为加速训练自然语言理解(NLU)模型而设计，通过生成高质量释义实现数据增强。
文本生成
Transformers
TransformersP
prithivida
910.07k
152
Distilbart Cnn 12 6
Apache-2.0
DistilBART是BART模型的蒸馏版本，专门针对文本摘要任务进行了优化，在保持较高性能的同时显著提升了推理速度。
文本生成
英语
D
sshleifer
783.96k
278
T5 Base Summarization Claim Extractor
基于T5架构的模型，专门用于从摘要文本中提取原子声明，是摘要事实性评估流程的关键组件。
文本生成 Transformers
Transformers 英语
T
Babelscape
666.36k
9
Unieval Sum
UniEval是一个统一的多维评估器，用于自然语言生成任务的自动评估，支持多个可解释维度的评估。
文本生成 Transformers
TransformersU
MingZhong
318.08k
3
Pegasus Paraphrase
Apache-2.0
基于PEGASUS架构微调的文本复述模型，能够生成语义相同但表达不同的句子。
文本生成 Transformers
Transformers 英语
P
tuner007
209.03k
185
T5 Base Korean Summarization
这是一个基于T5架构的韩语文本摘要模型，专为韩语文本摘要任务设计，通过微调paust/pko-t5-base模型在多个韩语数据集上训练而成。
文本生成 Transformers
Transformers 韩语
T
eenzeenee
148.32k
25
Pegasus Xsum
PEGASUS是一种基于Transformer的预训练模型，专门用于抽象文本摘要任务。
文本生成
英语
P
google
144.72k
198
Bart Large Cnn Samsum
MIT
基于BART-large架构的对话摘要模型，专为SAMSum语料库微调，适用于生成对话摘要。
文本生成 Transformers
Transformers 英语
B
philschmid
141.28k
258
Kobart Summarization
MIT
基于KoBART架构的韩语文本摘要模型，能够生成韩语新闻文章的简洁摘要。
文本生成 Transformers
Transformers 韩语
K
gogamza
119.18k
12
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型 Transformers
Transformers 支持多种语言
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。
对话系统 Transformers
Transformers 英语
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。
问答系统
中文
R
uer
2,694
98
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20none;%20}%20.st1%20{%20fill:%20%235ce6cf;%20}%20.st2%20{%20fill:%20%230080ff;%20}%20.st3%20{%20clip-path:%20url(%23clippath);%20}%20%3c/style%3e%3cclipPath%20id='clippath'%3e%3crect%20class='st0'%20y='0'%20width='120'%20height='32'/%3e%3c/clipPath%3e%3c/defs%3e%3cg%20class='st3'%3e%3cg%3e%3cpath%20class='st1'%20d='M22.4,32H3.2c-1,0-2-.5-2.6-1.4-.6-.9-.7-2-.4-2.9L9.8,2.1C10.3.8,11.5,0,12.8,0s2.5.8,3,2.1l9.6,25.6c.4,1,.2,2.1-.4,2.9-.6.9-1.6,1.4-2.6,1.4ZM7.8,25.6h10l-5-13.3-5,13.3Z'/%3e%3cpath%20class='st2'%20d='M33.6,32c-1.3,0-2.5-.8-3-2.1L21,4.3c-.6-1.7.2-3.5,1.9-4.1,1.7-.6,3.5.2,4.1,1.9l9.6,25.6c.6,1.7-.2,3.5-1.9,4.1-.4.1-.8.2-1.1.2h0Z'/%3e%3cpath%20d='M71.8,9.1h-6.9v4.6h6.9c2.5,0,4.6,2,4.6,4.6h-6.9c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h2.3c1.7,0,3.2-.4,4.6-1.2v1.2h4.6v-13.7c0-5-4.1-9.1-9.1-9.1h0ZM71.8,27.4h-2.3c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h6.9c0,2.5-2,4.6-4.6,4.6h0Z'/%3e%3cpath%20d='M52.3,9.1h-4.6V0h-4.6V32h9.1c5,0,9.1-4.1,9.1-9.1v-4.6c0-5.1-4.1-9.1-9.1-9.1h0ZM56.9,22.9c0,2.5-2,4.6-4.6,4.6h-4.6v-13.7h4.6c2.5,0,4.6,2,4.6,4.6v4.6h0Z'/%3e%3cpath%20d='M110.9,13.7h9.1v-4.6h-9.1c-5.1,0-9.1,4.1-9.1,9.1v4.6c0,5.1,4.1,9.1,9.1,9.1h9.1v-4.6h-9.1c-2.5,0-4.6-2-4.6-4.6h13.7v-4.6h-13.7c0-2.5,2-4.6,4.6-4.6h0Z'/%3e%3cpath%20d='M93.6,18.3h-4.6c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h10.3v-4.6h-10.3c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h4.6c1.3,0,2.3,1,2.3,2.3s-1,2.3-2.3,2.3h-10.3v4.6h10.3c3.8,0,6.9-3.1,6.9-6.9s-3.1-6.9-6.9-6.9Z'/%3e%3c/g%3e%3c/g%3e%3c/svg%3e)
AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。
简体中文