🚀 Pegasus模型
Pegasus模型主要用于文本摘要任务,它基于特定的训练策略和数据集训练,在多个文本摘要数据集上表现出色,为文本摘要领域提供了有效的解决方案。
🚀 快速开始
查看文档:点击此处
原始TF 1代码:点击此处
作者:Jingqing Zhang、Yao Zhao、Mohammad Saleh和Peter J. Liu ,发布于2019年12月18日
维护者:@sshleifer
任务:文本摘要
以下内容摘自作者的README。
📚 详细文档
混合与随机检查点
我们在C4和HugeNews数据集上,以采样的间隔句比例训练了一个Pegasus模型,并随机采样重要句子。更新后的结果如下表所示:
数据集 |
C4 |
HugeNews |
混合与随机 |
xsum |
45.20/22.06/36.99 |
47.21/24.56/39.25 |
47.60/24.83/39.64 |
cnn_dailymail |
43.90/21.20/40.76 |
44.17/21.47/41.11 |
44.16/21.56/41.30 |
newsroom |
45.07/33.39/41.28 |
45.15/33.51/41.33 |
45.98/34.20/42.18 |
multi_news |
46.74/17.95/24.26 |
47.52/18.72/24.91 |
47.65/18.75/24.95 |
gigaword |
38.75/19.96/36.14 |
39.12/19.86/36.24 |
39.65/20.47/36.76 |
wikihow |
43.07/19.70/34.79 |
41.35/18.51/33.42 |
46.39/22.12/38.41 * |
reddit_tifu |
26.54/8.94/21.64 |
26.63/9.01/21.60 |
27.99/9.81/22.94 |
big_patent |
53.63/33.16/42.25 |
53.41/32.89/42.07 |
52.29/33.08/41.66 * |
arxiv |
44.70/17.27/25.80 |
44.67/17.18/25.73 |
44.21/16.95/25.67 |
pubmed |
45.49/19.90/27.69 |
45.09/19.56/27.42 |
45.97/20.15/28.25 |
aeslc |
37.69/21.85/36.84 |
37.40/21.22/36.45 |
37.68/21.25/36.51 |
billsum |
57.20/39.56/45.80 |
57.31/40.19/45.82 |
59.67/41.58/47.59 |
“混合与随机”模型有以下更改:
- 在C4和HugeNews两个数据集上进行训练(数据集混合按示例数量加权)。
- 训练步数为150万步,而非50万步(我们观察到预训练困惑度的收敛速度较慢)。
- 模型在15%到45%之间均匀采样间隔句比例。
- 使用20%的均匀噪声对重要性得分进行重要句子采样。
- 更新了SentencePiece分词器,使其能够对换行符进行编码。
(*) wikihow和big_patent数据集的数值不可比,原因在于分词和数据的变化:
- wikihow数据集包含换行符,这对段落分割很有用,而C4和HugeNews模型的SentencePiece分词器无法对换行符进行编码,从而丢失了这一信息。
- 我们更新了BigPatent数据集以保留大小写,同时也更改了一些格式清理操作,请参考TFDS中的更改。
“混合与随机”模型(相对于论文中的pegasus-large)有以下更改:
- 在C4和HugeNews两个数据集上进行训练(数据集混合按示例数量加权)。
- 训练步数为150万步,而非50万步(我们观察到预训练困惑度的收敛速度较慢)。
- 模型在15%到45%之间均匀采样间隔句比例。
- 使用20%的均匀噪声对重要性得分进行重要句子采样。
- 更新了SentencePiece分词器,使其能够对换行符进行编码。
引用
@misc{zhang2019pegasus,
title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
year={2019},
eprint={1912.08777},
archivePrefix={arXiv},
primaryClass={cs.CL}
}