语言:

• 德语
• 英语
• 多语言 许可证: cc-by-nc-sa-4.0 标签:
• 摘要生成 数据集:
• cnn_dailymail
• xsum
• wiki_lingua
• mlsum
• swiss_text_2019

mT5-small-sum-de-en-v1

这是一个面向英语和德语的双语摘要生成模型。该模型基于多语言T5模型google/mt5-small构建。

本模型由德国电信旗下One Conversation团队提供。

训练过程

训练采用以下超参数配置：

• 基础模型: google/mt5-small
• 源前缀: "summarize: "
• 批次大小: 3
• 最大源长度: 800
• 最大目标长度: 96
• 预热比例: 0.3
• 训练轮次: 10
• 梯度累积步数: 2
• 学习率: 5e-5

数据集与预处理

数据集预处理流程如下： 使用google/mt5-small分词器对摘要进行分词，仅保留摘要token数不超过94条的记录。

MLSUM数据集具有特殊特征：文本中常完整包含摘要内容作为句子。这些内容已从文本中移除，以避免模型仅学习提取现成句子作为摘要。

训练使用的数据集详情：

MLSUM德语测试集评估（无束搜索）

CNN每日邮报英语测试集评估（无束搜索）

极端摘要(XSum)英语测试集评估（无束搜索）

♣：这些数值异常偏高，可能是测试集数据被包含在训练数据中所致。

许可协议

版权所有 (c) 2021 Philip May, 德国电信股份公司

本作品采用署名-非商业性使用-相同方式共享 3.0 未移植许可协议授权。