license: apache-2.0 tags:

• 文本摘要 datasets:
• multi_news metrics:
• rouge model-index:
• name: distilbart-cnn-12-6-ftn-multi_news results:
  • task: name: 序列到序列语言建模 type: 文本摘要 dataset: name: multi_news type: multi_news args: default metrics:
    • name: Rouge1 type: rouge value: 41.6136
  • task: type: 文本摘要 name: 摘要生成 dataset: name: multi_news type: multi_news config: default split: test metrics:
    • name: ROUGE-1 type: rouge value: 39.6512 verified: true
    • name: ROUGE-2 type: rouge value: 14.333 verified: true
    • name: ROUGE-L type: rouge value: 21.5797 verified: true
    • name: ROUGE-LSUM type: rouge value: 35.5793 verified: true
    • name: loss type: loss value: 5.507579803466797 verified: true
    • name: gen_len type: gen_len value: 132.1745 verified: true

distilbart-cnn-12-6-ftn-multi_news

该模型是基于sshleifer/distilbart-cnn-12-6在multi_news数据集上微调的版本。其在评估集上的表现如下：

• 损失值：3.8143
• Rouge1：41.6136
• Rouge2：14.7454
• Rougel：23.3597
• Rougelsum：36.1973
• 生成长度：130.874

模型描述

需补充更多信息

预期用途与限制

需补充更多信息

训练与评估数据

需补充更多信息

训练流程

训练超参数

训练过程中使用了以下超参数：

• 学习率：2e-05
• 训练批次大小：4
• 评估批次大小：4
• 随机种子：42
• 优化器：Adam（beta1=0.9，beta2=0.999，epsilon=1e-08）
• 学习率调度器类型：线性
• 学习率预热步数：500
• 训练轮次：1
• 混合精度训练：原生AMP
• 标签平滑因子：0.1

训练结果

框架版本

• Transformers 4.20.1
• Pytorch 1.11.0+cu113
• Datasets 2.3.2
• Tokenizers 0.12.1