语言:

• 德语
• 英语
• 多语言 许可证: cc-by-nc-sa-4.0 标签:
• 文本摘要 数据集:
• cnn_dailymail
• xsum
• mlsum
• swiss_text_2019

mT5-small-sum-de-en-v2

这是一个面向英语和德语的双语摘要生成模型，基于多语言T5模型google/mt5-small构建。

训练过程

训练采用以下超参数配置：

• 基础模型: google/mt5-small
• 源文本前缀: "summarize: "
• 批次大小: 3
• 最大源文本长度: 800
• 最大摘要长度: 96
• 预热比例: 0.3
• 训练轮次: 10
• 梯度累积步数: 2
• 学习率: 5e-5

数据集与预处理

数据集预处理流程如下： 摘要内容通过google/mt5-small分词器处理，仅保留摘要token数不超过94条的记录。

MLSUM数据集具有特殊特征：原文中常完整包含摘要内容作为句子。这些句子已从文本中移除，以避免模型仅学习提取现成句子作为摘要。

训练使用的数据集：

MLSUM德语测试集评估（无束搜索）

CNN每日邮报英语测试集评估（无束搜索）

极端摘要(XSum)英语测试集评估（无束搜索）

♣：该数值异常偏高，可能测试集数据被包含在训练数据中。

许可协议

版权所有 (c) 2021 Philip May，T-Systems现场服务有限公司

本作品采用署名-非商业性使用-相同方式共享 3.0 未移植许可协议授权。