语言: 中文
标签:

• 摘要生成

Pegasus模型

文档参见：此处

原始TensorFlow 1代码库：此处

作者：张靖清、赵耀、Mohammad Saleh 和 Peter J. Liu，2019年12月18日
维护者：@sshleifer
任务：摘要生成

以下内容复制自作者的自述文件。

混合与随机化检查点

我们通过在C4和HugeNews数据集上采用随机采样间隔句子比例的方式训练Pegasus模型，并随机选择重要句子。更新后的结果如下表所示。

“混合与随机化”模型进行了以下调整：

• 同时在C4和HugeNews数据集上训练（数据集混合比例按其样本数量加权）。
• 训练步数增至150万而非50万（观察到预训练困惑度收敛速度较慢）。
• 模型均匀采样15%至45%之间的间隔句子比例。
• 重要性句子通过向重要性分数添加20%的均匀噪声进行采样。
• 更新了SentencePiece分词器以支持编码换行符。

（*）由于分词方式和数据变更，wikihow和big_patent数据集的结果不可直接比较：

• wikihow数据集包含对段落分割有用的换行符，而C4和HugeNews模型的SentencePiece分词器未编码换行符导致信息丢失。
• 更新了BigPatent数据集以保留大小写，同时调整了部分格式清理规则，详见TFDS变更记录。

“混合与随机化”模型相较于论文中的pegasus-large模型的主要变化包括：

• 双数据集联合训练（C4+HugeNews按样本量加权混合）。
• 延长训练至150万步（预训练困惑度收敛更慢）。
• 间隔句子比例15%-45%均匀采样。
• 重要性分数加入20%均匀噪声扰动。
• 分词器升级支持换行符编码。

引用文献

@misc{zhang2019pegasus,  
    title={PEGASUS: 基于抽取间隔句子的抽象摘要预训练},  
    author={张靖清 and 赵耀 and Mohammad Saleh and Peter J. Liu},  
    year={2019},  
    eprint={1912.08777},  
    archivePrefix={arXiv},  
    primaryClass={cs.CL}  
}