语言: 中文
标签:

• 摘要生成

Pegasus模型

文档参见: 此处

原始TF 1代码库: 此处

作者: 张靖卿、赵耀、Mohammad Saleh 和 Peter J. Liu（2019年12月18日）

维护者: @sshleifer

任务: 文本摘要

以下内容复制自作者的自述文件。

混合与随机化检查点

我们通过在C4和HugeNews数据集上采用随机采样间隔句子比例的方式训练Pegasus模型，并随机选择重要句子。更新后的实验结果如下表所示。

"混合与随机化"模型包含以下改进：

• 同时基于C4和HugeNews训练（数据集按样本量加权混合）
• 训练150万步而非50万步（观察到预训练困惑度收敛速度减缓）
• 间隔句子比例均匀采样于15%至45%区间
• 重要性句子采样时对重要性分数添加20%均匀噪声
• 升级SentencePiece分词器以支持换行符编码

（*）wikihow和big_patent数据集因分词与数据变动导致结果不可直接比较：

• wikihow数据包含用于段落分割的换行符，原C4和HugeNews模型的SentencePiece分词器未编码换行符导致信息丢失
• BigPatent数据集更新为保留大小写，部分格式清理规则变更，详见TFDS变更记录

相较于论文中的pegasus-large模型，"混合与随机化"版本主要变更包括：

1. 双数据集联合训练（C4+HugeNews按样本量加权）
2. 训练步数扩展至150万次
3. 间隔句子比例动态采样（15%-45%均匀分布）
4. 重要性评分引入20%噪声扰动
5. 分词器支持换行符编码

引用文献

@misc{zhang2019pegasus,  
    title={PEGASUS: 基于间隙句子提取的预训练抽象摘要模型},  
    author={张靖卿 and 赵耀 and Mohammad Saleh and Peter J. Liu},  
    year={2019},  
    eprint={1912.08777},  
    archivePrefix={arXiv},  
    primaryClass={cs.CL}  
}