许可证: mit
基础模型: pdelobelle/robbert-v2-dutch-base
标签:
- 训练生成
模型索引:
- 名称: robbert-v2-dutch-base-finetuned-emotion-dominance
结果: []
robbert-v2-dutch-base-finetuned-emotion-dominance
该模型是基于pdelobelle/robbert-v2-dutch-base在None数据集上微调的版本。在评估集上取得了以下结果:
模型描述
需要更多信息
预期用途与限制
需要更多信息
训练与评估数据
需要更多信息
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率: 2e-05
- 训练批次大小: 32
- 评估批次大小: 32
- 随机种子: 42
- 优化器: Adam,参数为betas=(0.9,0.999),epsilon=1e-08
- 学习率调度器类型: linear
- 训练轮数: 50
训练结果
训练损失 |
轮次 |
步数 |
验证损失 |
均方根误差 |
0.1031 |
1.0 |
25 |
0.0433 |
0.2080 |
0.0444 |
2.0 |
50 |
0.0433 |
0.2082 |
0.0371 |
3.0 |
75 |
0.0443 |
0.2106 |
0.0318 |
4.0 |
100 |
0.0470 |
0.2167 |
0.0289 |
5.0 |
125 |
0.0611 |
0.2472 |
0.0267 |
6.0 |
150 |
0.0394 |
0.1984 |
0.0217 |
7.0 |
175 |
0.0419 |
0.2047 |
0.0199 |
8.0 |
200 |
0.0412 |
0.2029 |
0.0173 |
9.0 |
225 |
0.0477 |
0.2184 |
0.0164 |
10.0 |
250 |
0.0490 |
0.2213 |
0.0145 |
11.0 |
275 |
0.0417 |
0.2043 |
0.0126 |
12.0 |
300 |
0.0454 |
0.2130 |
0.0149 |
13.0 |
325 |
0.0421 |
0.2052 |
0.0113 |
14.0 |
350 |
0.0424 |
0.2059 |
0.0117 |
15.0 |
375 |
0.0426 |
0.2063 |
0.0107 |
16.0 |
400 |
0.0437 |
0.2091 |
0.0097 |
17.0 |
425 |
0.0406 |
0.2015 |
0.0102 |
18.0 |
450 |
0.0488 |
0.2209 |
0.01 |
19.0 |
475 |
0.0421 |
0.2053 |
0.0101 |
20.0 |
500 |
0.0383 |
0.1957 |
0.01 |
21.0 |
525 |
0.0404 |
0.2009 |
0.0092 |
22.0 |
550 |
0.0522 |
0.2285 |
0.0086 |
23.0 |
575 |
0.0390 |
0.1975 |
0.0085 |
24.0 |
600 |
0.0455 |
0.2133 |
0.0075 |
25.0 |
625 |
0.0427 |
0.2066 |
0.0071 |
26.0 |
650 |
0.0398 |
0.1995 |
0.0073 |
27.0 |
675 |
0.0424 |
0.2060 |
0.0079 |
28.0 |
700 |
0.0422 |
0.2055 |
0.0068 |
29.0 |
725 |
0.0388 |
0.1970 |
0.0071 |
30.0 |
750 |
0.0382 |
0.1953 |
0.0065 |
31.0 |
775 |
0.0394 |
0.1986 |
0.0066 |
32.0 |
800 |
0.0390 |
0.1975 |
0.006 |
33.0 |
825 |
0.0395 |
0.1987 |
0.0059 |
34.0 |
850 |
0.0404 |
0.2010 |
0.0062 |
35.0 |
875 |
0.0378 |
0.1944 |
0.0063 |
36.0 |
900 |
0.0374 |
0.1935 |
0.0056 |
37.0 |
925 |
0.0398 |
0.1995 |
0.0058 |
38.0 |
950 |
0.0383 |
0.1957 |
0.0056 |
39.0 |
975 |
0.0378 |
0.1945 |
0.0057 |
40.0 |
1000 |
0.0407 |
0.2017 |
0.006 |
41.0 |
1025 |
0.0392 |
0.1980 |
0.0057 |
42.0 |
1050 |
0.0398 |
0.1994 |
0.0053 |
43.0 |
1075 |
0.0377 |
0.1941 |
0.0056 |
44.0 |
1100 |
0.0392 |
0.1980 |
0.0053 |
45.0 |
1125 |
0.0410 |
0.2024 |
0.0057 |
46.0 |
1150 |
0.0396 |
0.1990 |
0.0048 |
47.0 |
1175 |
0.0398 |
0.1995 |
0.0054 |
48.0 |
1200 |
0.0397 |
0.1992 |
0.005 |
49.0 |
1225 |
0.0389 |
0.1972 |
0.0051 |
50.0 |
1250 |
0.0394 |
0.1984 |
框架版本
- Transformers 4.42.4
- Pytorch 2.3.1+cu121
- Datasets 2.20.0
- Tokenizers 0.19.1