语言:

• 英文 许可证: apache-2.0 标签:
• 摘要生成
• 训练生成 数据集:
• multi_news 评估指标:
• rouge 基础模型: facebook/bart-base 模型索引:
• 名称: bart-base-multi-news 结果:
  • 任务: 类型: 文本到文本生成 名称: 序列到序列语言建模 数据集: 名称: multi_news 类型: multi_news 配置: 默认 分割: 验证集 参数: 默认 评估指标:
    • 类型: rouge 值: 26.31 名称: Rouge1
    • 类型: rouge 值: 9.6 名称: Rouge2
    • 类型: rouge 值: 20.87 名称: Rougel
    • 类型: rouge 值: 21.54 名称: Rougelsum

bart-base-multi-news

该模型是基于facebook/bart-base在multi_news数据集上微调的版本。 在评估集上取得了以下结果:

• 损失: 2.4147
• Rouge1: 26.31
• Rouge2: 9.6
• Rougel: 20.87
• Rougelsum: 21.54

预期用途与限制

该模型的预期用途是文本摘要生成。 该模型需要进一步训练以提升在摘要任务中的表现。

训练与评估数据

训练数据来自multi-news训练数据集的10000个样本， 评估数据来自multi-news评估数据集的500个样本。

训练流程

训练过程中使用了transformers库中的Seq2SeqTrainer类。

训练超参数

超参数通过transformers库中的Seq2SeqTrainingArguments类传递。

训练中使用的超参数如下:

• 学习率: 5.6e-05
• 训练批次大小: 8
• 评估批次大小: 8
• 随机种子: 42
• 优化器: Adam，参数为betas=(0.9,0.999)和epsilon=1e-08
• 学习率调度器类型: 线性
• 训练轮数: 1

训练结果

框架版本

• Transformers 4.30.0
• Pytorch 2.0.1+cu118
• Datasets 2.12.0
• Tokenizers 0.13.3