库名称:transformers
许可证:apache-2.0
基础模型:google/flan-t5-base
标签:
- generated_from_trainer
数据集:
- samsum
评估指标:
- rouge
模型索引:
- 名称:flan-t5-base-samsum
结果:
- 任务:
名称:序列到序列语言建模
类型:文本生成
数据集:
名称:samsum
类型:samsum
配置:samsum
拆分:test
参数:samsum
评估指标:
- 名称:Rouge1
类型:rouge
值:47.355
管道标签:summarization
flan-t5-base-samsum
该模型是基于google/flan-t5-base在samsum数据集上微调的版本。
在评估集上取得了以下结果:
- 损失:1.3736
- Rouge1:47.355
- Rouge2:23.7601
- Rougel:39.8403
- Rougelsum:43.4718
- 生成长度:17.1575
模型描述
需补充更多信息
预期用途与限制
需补充更多信息
训练与评估数据
需补充更多信息
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率:5e-05
- 训练批次大小:16
- 评估批次大小:16
- 随机种子:42
- 优化器:Adam,参数为betas=(0.9,0.999)和epsilon=1e-08
- 学习率调度器类型:线性
- 训练轮数:5
训练结果
训练损失 |
轮次 |
步数 |
验证损失 |
Rouge1 |
Rouge2 |
Rougel |
Rougelsum |
生成长度 |
1.3641 |
1.0 |
921 |
1.3780 |
47.4054 |
23.6308 |
39.8273 |
43.3697 |
17.3004 |
1.3074 |
2.0 |
1842 |
1.3736 |
47.355 |
23.7601 |
39.8403 |
43.4718 |
17.1575 |
1.2592 |
3.0 |
2763 |
1.3740 |
47.2208 |
23.4972 |
39.7293 |
43.2546 |
17.2320 |
1.2232 |
4.0 |
3684 |
1.3794 |
47.9156 |
24.2451 |
40.2628 |
43.9122 |
17.4017 |
1.2042 |
5.0 |
4605 |
1.3780 |
47.8982 |
24.1707 |
40.2955 |
43.8939 |
17.3712 |
框架版本
- Transformers 4.44.2
- Pytorch 2.4.0
- Datasets 3.0.0
- Tokenizers 0.19.1
使用方法
from transformers import pipeline
pipe = pipeline("summarization", model="sharmax-vikas/flan-t5-base-samsum")
res = pipe('''对话:
Margaret: 嗨,我想在12月的4号和11号约10:00或11:00见面。
Evans: 嗨,4号——我们可以10:00见。
Evans: 11号——11:00见。
Margaret: 好的。那18号呢?
Evans: 18号我不确定。
Evans: 我可能不在城里。
Margaret: 好的,那到时候再说。
Evans: 是的,下周我会告诉你。
Margaret: 如果不是18号,也许我们可以17号见?
Evans: 如果我离开,17号也不会在。
Margaret: 好的,我明白了。
Evans: 但如果你愿意,我们可以14号见?
Margaret: 嗯,我不确定我是否有空。
Evans: 那这些日期我们之后再定,好吗?
Margaret: 好的,那我们4号10:00见。
Evans: 是的!''')
print(f"flan-t5-base摘要:\n{res[0]['summary_text']}")
Margaret和Evans将在12月4号和11号见面。他们将在18号10:00和17号11:00见面。如果不是18号,他们可以在17号或14号见面。