Pegasus模型

查看文档：此处

原始TF 1代码：此处

作者：Jingqing Zhang、Yao Zhao、Mohammad Saleh与Peter J. Liu（2019年12月18日）
维护者：@sshleifer
任务：文本摘要

以下内容复制自作者的自述文件。

混合与随机检查点

我们通过在C4和HugeNews数据集上采用随机采样间隔句子比例的方式训练Pegasus模型，并随机采样重要句子。更新后的结果如下表所示。

"混合与随机"模型包含以下改进：

• 同时在C4和HugeNews数据集上训练（数据集混合比例按其样本数量加权）
• 训练步数增至150万（原为50万，观察到预训练困惑度收敛速度较慢）
• 模型均匀采样15%至45%的间隔句子比例
• 重要性句子采样时对重要性分数添加20%的均匀噪声
• 更新SentencePiece分词器以支持换行符编码

（*）wikihow和big_patent数据集的数据因分词与数据变动不可直接比较：

• wikihow数据集包含对段落分割有用的换行符，而C4和HugeNews模型的SentencePiece分词器未编码换行符导致信息丢失
• BigPatent数据集更新为保留大小写，部分格式清理规则变更，详见TFDS变更记录

"混合与随机"模型相较论文中的pegasus-large主要变动如下：

1. 双数据集混合训练（C4+HugeNews按样本量加权）
2. 训练步数扩展至150万
3. 间隔句子比例采用15%-45%均匀采样
4. 重要性分数添加20%均匀噪声
5. 升级SentencePiece分词器支持换行符编码

引用文献：

@misc{zhang2019pegasus,  
    title={PEGASUS: 基于抽取间隔句的抽象摘要预训练},  
    author={张靖清、赵耀、Mohammad Saleh与Peter J. Liu},  
    year={2019},  
    eprint={1912.08777},  
    archivePrefix={arXiv},  
    primaryClass={cs.CL}  
}