语言: 中文 标签:

• 摘要生成

Pegasus模型

文档参考：此处

原始TF 1代码库：此处

作者：张靖清、赵耀、Mohammad Saleh 和 Peter J. Liu，2019年12月18日

维护者：@sshleifer

任务：摘要生成

以下内容复制自作者的自述文件。

混合与随机检查点

我们在C4和HugeNews数据集上训练了一个Pegasus模型，采用采样后的句子间隔比例，并随机采样重要句子。更新后的结果如下表所示。

“混合与随机”模型具有以下变化：

• 同时在C4和HugeNews上进行训练（数据集混合比例按其样本数量加权）。
• 训练步数从50万增加到150万（我们观察到预训练困惑度的收敛速度较慢）。
• 模型均匀采样15%到45%之间的句子间隔比例。
• 重要性句子采样时在重要性分数上添加20%的均匀噪声。
• 更新了SentencePiece分词器，使其能够编码换行符。

（*）wikihow和big_patent数据集的数据由于分词和数据的变更，结果不可直接比较：

• wikihow数据集包含换行符，这对段落分割非常有用，而C4和HugeNews模型的SentencePiece分词器无法编码换行符，因此丢失了这一信息。
• 我们更新了BigPatent数据集以保留大小写，同时修改了一些格式清理操作，具体变更请参考TFDS的更新。

“混合与随机”模型相较于论文中的pegasus-large模型有以下变化：

• 同时在C4和HugeNews上进行训练（数据集混合比例按其样本数量加权）。
• 训练步数从50万增加到150万（我们观察到预训练困惑度的收敛速度较慢）。
• 模型均匀采样15%到45%之间的句子间隔比例。
• 重要性句子采样时在重要性分数上添加20%的均匀噪声。
• 更新了SentencePiece分词器，使其能够编码换行符。

引用

@misc{zhang2019pegasus,
    title={PEGASUS: 基于抽取间隔句子的预训练用于抽象摘要生成},
    author={张靖清 and 赵耀 and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}