Pegasus模型

查看文档：此处

原始TF 1代码：此处

作者：Jingqing Zhang、Yao Zhao、Mohammad Saleh 和 Peter J. Liu（2019年12月18日）
维护者：@sshleifer
任务：文本摘要

以下内容复制自作者的README。

混合与随机检查点

我们通过在C4和HugeNews数据集上采样不同的句子间隔比例训练了一个Pegasus模型，并随机采样重要句子。更新后的结果如下表所示。

“混合与随机”模型具有以下变化：

• 同时在C4和HugeNews上训练（数据集混合比例按其样本数量加权）。
• 训练步数为150万次而非50万次（我们观察到预训练困惑度的收敛速度较慢）。
• 模型均匀采样15%至45%的句子间隔比例。
• 重要句子采样时在重要性分数上添加了20%的均匀噪声。
• 更新了SentencePiece分词器以支持编码换行符。

（*）wikihow和big_patent数据集的结果不可直接比较，因为分词方式和数据发生了变化：

• wikihow数据集包含换行符（有助于段落分割），而C4和HugeNews模型的SentencePiece分词器未编码换行符，导致信息丢失。
• 我们更新了BigPatent数据集以保留大小写，同时调整了部分格式清理规则，详情请参考TFDS的变更。

“混合与随机”模型相较于论文中的pegasus-large有以下变化：

• 同时在C4和HugeNews上训练（数据集混合比例按其样本数量加权）。
• 训练步数为150万次而非50万次（我们观察到预训练困惑度的收敛速度较慢）。
• 模型均匀采样15%至45%的句子间隔比例。
• 重要句子采样时在重要性分数上添加了20%的均匀噪声。
• 更新了SentencePiece分词器以支持编码换行符。

引用

@misc{zhang2019pegasus,  
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},  
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},  
    year={2019},  
    eprint={1912.08777},  
    archivePrefix={arXiv},  
    primaryClass={cs.CL}  
}