license: apache-2.0
base_model: moussaKam/barthez-orangesum-abstract
tags:
- generated_from_trainer
metrics:
- rouge
model-index:
- name: barthez-orange-ft
results: []
barthez-orange-ft
该模型是基于moussaKam/barthez-orangesum-abstract在None数据集上微调的版本。在评估集上取得了以下结果:
- 损失值:0.1689
- Rouge1得分:0.6719
- Rouge2得分:0.6536
- RougeL得分:0.6719
- RougeLsum得分:0.6722
- 生成文本平均长度:20.0
模型描述
需补充更多信息
预期用途与限制
需补充更多信息
训练与评估数据
需补充更多信息
训练流程
训练超参数
训练过程中使用了以下超参数:
- 学习率:2e-05
- 训练批次大小:16
- 评估批次大小:32
- 随机种子:42
- 梯度累积步数:8
- 总训练批次大小:128
- 优化器:Adam(beta1=0.9,beta2=0.999,epsilon=1e-08)
- 学习率调度器类型:线性
- 训练轮次:20
训练结果
训练损失 |
训练轮次 |
训练步数 |
验证损失 |
Rouge1 |
Rouge2 |
RougeL |
RougeLsum |
生成长度 |
无记录 |
1.0 |
31 |
4.6662 |
0.6719 |
0.6535 |
0.6718 |
0.6721 |
20.0 |
无记录 |
1.99 |
62 |
0.6939 |
0.6718 |
0.6535 |
0.6718 |
0.6721 |
20.0 |
无记录 |
2.99 |
93 |
0.2939 |
0.6718 |
0.6535 |
0.6718 |
0.6721 |
20.0 |
无记录 |
3.98 |
124 |
0.2089 |
0.6719 |
0.6535 |
0.6718 |
0.6721 |
20.0 |
无记录 |
4.98 |
155 |
0.1880 |
0.6719 |
0.6535 |
0.6718 |
0.6721 |
20.0 |
无记录 |
5.98 |
186 |
0.1795 |
0.6719 |
0.6535 |
0.6718 |
0.6721 |
20.0 |
无记录 |
6.97 |
217 |
0.1752 |
0.6719 |
0.6535 |
0.6718 |
0.6721 |
20.0 |
无记录 |
8.0 |
249 |
0.1732 |
0.6719 |
0.6535 |
0.6718 |
0.6721 |
20.0 |
无记录 |
9.0 |
280 |
0.1716 |
0.6719 |
0.6536 |
0.6719 |
0.6722 |
20.0 |
无记录 |
9.99 |
311 |
0.1707 |
0.6719 |
0.6536 |
0.6719 |
0.6722 |
20.0 |
无记录 |
10.99 |
342 |
0.1704 |
0.6719 |
0.6536 |
0.6719 |
0.6722 |
20.0 |
无记录 |
11.98 |
373 |
0.1696 |
0.6719 |
0.6536 |
0.6719 |
0.6722 |
20.0 |
无记录 |
12.98 |
404 |
0.1698 |
0.6719 |
0.6536 |
0.6719 |
0.6722 |
20.0 |
无记录 |
13.98 |
435 |
0.1695 |
0.6719 |
0.6536 |
0.6719 |
0.6722 |
20.0 |
无记录 |
14.97 |
466 |
0.1693 |
0.6719 |
0.6536 |
0.6719 |
0.6722 |
20.0 |
无记录 |
16.0 |
498 |
0.1691 |
0.6719 |
0.6536 |
0.6719 |
0.6722 |
20.0 |
0.9743 |
17.0 |
529 |
0.1691 |
0.6719 |
0.6536 |
0.6719 |
0.6722 |
20.0 |
0.9743 |
17.99 |
560 |
0.1690 |
0.6719 |
0.6536 |
0.6719 |
0.6722 |
20.0 |
0.9743 |
18.99 |
591 |
0.1689 |
0.6719 |
0.6536 |
0.6719 |
0.6722 |
20.0 |
0.9743 |
19.92 |
620 |
0.1689 |
0.6719 |
0.6536 |
0.6719 |
0.6722 |
20.0 |
框架版本
- Transformers 4.31.0
- Pytorch 2.1.2
- Datasets 2.18.0
- Tokenizers 0.13.3