license: apache-2.0

简介

本文描述的自动复述模型源自论文《AutoQA：仅用合成训练数据实现从数据库到QA语义解析器的跨越》（EMNLP 2020）。

训练数据

基于《通过采样与聚类构建大规模多样化复述平行文本》中提出的ParaBank 2数据集的净化版本。该数据集通过回译英捷平行语料库中的捷克语部分构建而成。我们选取了500万对具有最高双向条件交叉熵得分（对应最佳复述质量）的句子对，且每句仅保留五条复述中的一条。净化过程包括移除不符合常规英语表达的句子（如含URL、特殊字符过多等）。

训练过程

模型以facebook/bart-large为初始检查点，在上述数据集上进行了4轮微调。采用基于标准复述句的token级交叉熵损失函数。为确保输出语法正确，训练时将回译的捷克语句作为输入，人工撰写的英语句作为输出。训练采用1280样本的迷你批次，并通过长度相似性分组提升效率。

使用方法

使用top_p=0.9和0到1之间的temperature参数通常能生成优质复述。较高温度值会增强复述多样性与差异性，但可能轻微改变原意。注意这是句子级复述器，处理长文本（如段落）时请先分句。

引用

若使用本模型，请引用：

@inproceedings{xu-etal-2020-autoqa,
    title = "{A}uto{QA}：仅用合成训练数据实现从数据库到{QA}语义解析器的跨越",
    author = "徐思磊 和 塞姆纳尼, 西纳 和 坎帕尼亚, 乔瓦尼 和 林莫妮卡",
    booktitle = "2020年自然语言处理实证方法会议论文集",
    month = 11月,
    year = "2020",
    address = "线上",
    publisher = "计算语言学协会",
    url = "https://www.aclweb.org/anthology/2020.emnlp-main.31",
    pages = "422--434",
}