许可协议: apache-2.0
标签:

• 训练生成
• 序列到序列
• 摘要生成
  数据集:
• samsum
  评估指标:
• rouge
  示例输入:
• 文本: >
  艾米丽：嘿亚历克斯，你听说市中心新开的那家餐厅了吗？
  亚历克斯：没有啊，叫什么名字？
  艾米丽：叫"美味一口"，据说有全城最好吃的意大利面。
  亚历克斯：听起来不错，你打算什么时候去尝尝？
  艾米丽：这周六怎么样？我们可以约个晚餐。
  亚历克斯：好主意艾米丽，我很期待。
  模型索引:
• 名称: bart-large-cnn-samsum
  结果:
  • 任务:
    类型: 摘要生成
    名称: 摘要生成
    数据集:
    名称: >
    SAMSum语料库：用于抽象摘要的人类标注对话数据集
    类型: samsum
    评估指标:
    • 类型: rouge-1
      值: 43.6283
      名称: 验证集ROUGE-1
    • 类型: rouge-2
      值: 19.3096
      名称: 验证集ROUGE-2
    • 类型: rouge-l
      值: 41.214
      名称: 验证集ROUGE-L

bart-large-cnn-samsum

该模型是基于samsum数据集微调facebook/bart-large-cnn的版本，在评估集上取得如下结果：

• 损失值: 0.755
• Rouge1: 43.6283
• Rouge2: 19.3096
• RougeL: 41.2140
• RougeLsum: 37.2590

模型描述

需补充更多信息

使用场景与限制

from transformers import pipeline  
summarizer = pipeline("summarization", model="AdamCodd/bart-large-cnn-samsum")  

conversation = '''艾米丽：嘿亚历克斯...（此处省略对话内容）'''  
result = summarizer(conversation)  
print(result)  

训练与评估数据

需补充更多信息

训练流程

训练超参数

训练过程中使用的超参数：

• 学习率: 3e-05
• 训练批大小: 4
• 评估批大小: 4
• 随机种子: 1270
• 优化器: 带betas=(0.9,0.999)和epsilon=1e-08的AdamW
• 学习率调度器类型: 线性
• 学习率预热步数: 150
• 训练轮次: 1

训练结果

框架版本

• Transformers 4.34.0
• Pytorch lightning 2.0.9
• Tokenizers 0.14.0

如需支持作者，可访问ko-fi赞助链接。