语言:

• 英语 许可证: apache-2.0 库名称: transformers 标签:
• 训练生成
• 摘要生成
• 堆叠摘要
• 提示工程 数据集:
• stacked-summaries/stacked-samsum-1024 评估指标:
• rouge 管道标签: 摘要生成 基础模型: google/flan-t5-large 模型索引:
• 名称: flan-t5-large-stacked-samsum1024-WIP3 结果:
  • 任务: 类型: 摘要生成 名称: 摘要生成 数据集: 名称: samsum 类型: samsum 配置: samsum 拆分: 测试 指标:
    • 类型: rouge 值: 47.6682 名称: ROUGE-1 已验证: 是
    • 类型: rouge 值: 23.3053 名称: ROUGE-2 已验证: 是
    • 类型: rouge 值: 39.7678 名称: ROUGE-L 已验证: 是
    • 类型: rouge 值: 43.259 名称: ROUGE-LSUM 已验证: 是
    • 类型: 损失 值: 2.372586965560913 名称: 损失 已验证: 是
    • 类型: 生成长度 值: 17.4237 名称: 生成长度 已验证: 是

flan-t5-large-stacked-samsum-1024

该模型是基于google/flan-t5-large在stacked-summaries/stacked-samsum-1024数据集上微调的版本。

在评估集上取得了以下结果:

• 损失: 2.1846
• Rouge1: 57.9637
• Rouge2: 28.7446
• Rougel: 44.3826
• Rougelsum: 54.0399
• 生成长度: 122.77

模型描述

本模型卡片展示了一个基于堆叠数据集训练的模型，旨在通过测试"任务导向预训练"的优势来改进摘要生成。该模型设计用于学习如何有效地从文本中浓缩和提炼信息，通过堆叠摘要并将其分离为独立概念。通过这种方式，模型可以学会识别关键信息，而不仅仅是模仿数据集摘要的风格。

用于标识摘要中新概念的标记是[NEXT_CONCEPT]。您可以根据此标记分割输出摘要，以查看其如何分割输入文本信息: summary_text.split("[NEXT_CONCEPT]")等。

预期用途与限制

• 最大输入/输出为1024个标记
• 这主要是一个测试，因为samsum并非最适合通用摘要生成的数据集

训练与评估数据

有关信息，请参阅本页链接的数据集卡片

训练过程

训练超参数

训练过程中使用了以下超参数:

• 学习率: 0.0001
• 训练批次大小: 8
• 评估批次大小: 4
• 随机种子: 24915
• 分布式类型: 多GPU
• 梯度累积步数: 32
• 总训练批次大小: 256
• 优化器: Adam，参数为betas=(0.9,0.999)和epsilon=1e-08
• 学习率调度器类型: 余弦
• 学习率调度器预热比例: 0.02
• 训练轮数: 1.0

训练结果

框架版本

• Transformers 4.26.0.dev0
• Pytorch 1.13.0+cu117
• Datasets 2.6.1
• Tokenizers 0.13.1