语言: 德语
标签:

• 摘要生成

数据集:

• mlsum

基于德语MLSUM微调的mT5-small模型

该模型经过3轮微调，输入最大长度（max_len）为768个标记，目标最大长度（target_max_len）为192个标记。
微调数据来自MLSUM数据集训练集中所有德语文章，这些文章经空格分割后单词数少于384个，共计80,249篇。
筛选数据集的具体表达式如下：

dataset = dataset.filter(lambda e: len(e['text'].split()) < 384)

评估结果

微调模型在验证集中随机选取的2000篇文章上进行评估。
计算了微调模型与lead-3基线（仅生成文档前三句）的平均f1 ROUGE分数，结果如下表所示。