库名称: transformers
基础模型: google/pegasus-cnn_dailymail
标签:

• 训练生成
  数据集:
• samsum
  模型索引:
• 名称: pegasus-finetuned-samsum
  结果:
  • 任务:
    类型: 文本摘要
    数据集:
    名称: samsum
    类型: samsum
    指标:
    • 名称: ROUGE-1
      类型: ROUGE-1
      值: 0.44030729209257835
    • 名称: ROUGE-2
      类型: ROUGE-2
      值: 0.21015363722992564
    • 名称: ROUGE-L
      类型: ROUGE-L
      值: 0.3491351151672408
    • 名称: ROUGE-Lsum
      类型: ROUGE-Lsum
      值: 0.3492708872856547
      语言:
• en
  管道标签: 文本摘要
  指标:
• rouge

pegasus-finetuned-samsum

该模型是在samsum数据集上微调的google/pegasus-cnn_dailymail版本。
在评估集上取得了以下结果:

• 损失: 1.4245
• Rouge-1: 0.4403
• Rouge-2: 0.2102
• Rouge-L: 0.3491
• Rouge-Lsum: 0.3493

模型描述

截至2025年4月8日，这将是Papers with Code SAMsum排行榜上第10位表现最佳的模型。

预期用途与限制

该模型设计用于抽象对话摘要。它可以接收多轮对话并生成简洁的摘要。

使用方法

from transformers import pipeline  

# 加载摘要管道  
model_name = "avanishd/pegasus-finetuned-samsum/"  
summarizer = pipeline("summarization", model=model_name, tokenizer=model_name)  

# 示例对话  
dialogue = """  
John: 嘿，你明天有空吗？  
Alice: 应该有，怎么了？  
John: 想去看电影还是吃午饭？  
Alice: 好啊，午饭不错。几点？  
John: 下午1点市中心新开的那家怎么样？  
Alice: 没问题！  
"""  

# 生成摘要  
summary = summarizer(dialogue, max_length=60, min_length=15, do_sample=False)[0]['summary_text']  

print("摘要:", summary)  

训练与评估数据

需要更多信息

训练过程

训练超参数

训练期间使用的超参数如下:

• 学习率: 5e-05
• 训练批次大小: 1
• 评估批次大小: 1
• 随机种子: 42
• 梯度累积步数: 16
• 总训练批次大小: 16
• 优化器: 使用OptimizerNames.ADAMW_TORCH，betas=(0.9,0.999)，epsilon=1e-08，无额外优化器参数
• 学习率调度器类型: linear
• 学习率预热步数: 500
• 训练轮数: 1
• 混合精度训练: Native AMP

训练结果

框架版本

• Transformers 4.50.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1