语言:

• 德语

许可证: mit

标签:

• 摘要生成

数据集:

• swiss_text_2019

mT5-small-sum-de-mit-v1

这是一个德语摘要生成模型。该模型基于多语言T5模型google/mt5-small。该模型的特别之处在于，与许多其他模型不同，它采用了宽松的开源许可证（MIT）。除其他外，该许可证允许商业用途。

此模型由Deutsche Telekom AG的One Conversation团队提供。

训练

训练采用以下超参数：

• 基础模型：google/mt5-small
• 源前缀："summarize: "
• 批次大小：3（6）
• 最大源长度：800
• 最大目标长度：96
• 预热比例：0.3
• 训练轮次：10
• 梯度累积步数：2
• 学习率：5e-5

数据集与预处理

数据集预处理步骤如下：

使用google/mt5-small的分词器对摘要进行分词。然后仅选择摘要分词不超过94个的记录。

该模型在以下数据集上进行训练：

我们已获得使用Swisstext数据集的许可，并可在MIT许可证下发布生成的摘要模型（参见permission-declaration-swisstext.pdf）。

MLSUM德语测试集评估（无束搜索）

许可证

版权所有 (c) 2021 Philip May, Deutsche Telekom AG

根据MIT许可证（"许可证"）授权；除非符合许可证，否则不得使用本作品。您可以通过查看存储库中的文件LICENSE获取许可证副本。