许可证:apache-2.0
标签:
- 训练生成
- sibyl
数据集:
- amazon_polarity
评估指标:
- 准确率
模型索引:
- 名称:bert-base-uncased-amazon_polarity
结果:
- 任务:
名称:文本分类
类型:text-classification
数据集:
名称:amazon_polarity
类型:amazon_polarity
参数:amazon_polarity
指标:
- 名称:准确率
类型:accuracy
值:0.94647
- 任务:
类型:text-classification
名称:文本分类
数据集:
名称:amazon_polarity
类型:amazon_polarity
配置:amazon_polarity
拆分:test
指标:
- 名称:准确率
类型:accuracy
值:0.9464875
已验证:true
- 名称:精确率
类型:precision
值:0.9528844934702675
已验证:true
- 名称:召回率
类型:recall
值:0.939425
已验证:true
- 名称:AUC
类型:auc
值:0.9863499156250001
已验证:true
- 名称:F1分数
类型:f1
值:0.9461068798388619
已验证:true
- 名称:损失
类型:loss
值:0.2944573760032654
已验证:true
bert-base-uncased-amazon_polarity
该模型是基于bert-base-uncased在amazon_polarity数据集上微调的版本。
在评估集上取得了以下结果:
模型描述
需补充更多信息
预期用途与限制
需补充更多信息
训练与评估数据
需补充更多信息
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率:5e-05
- 训练批次大小:1
- 评估批次大小:8
- 随机种子:42
- 优化器:Adam(beta1=0.9,beta2=0.999,epsilon=1e-08)
- 学习率调度器类型:线性
- 学习率预热步数:1782000
- 训练总步数:17820000
训练结果
训练损失 |
周期 |
步数 |
验证损失 |
准确率 |
0.7155 |
0.0 |
2000 |
0.7060 |
0.4622 |
0.7054 |
0.0 |
4000 |
0.6925 |
0.5165 |
0.6842 |
0.0 |
6000 |
0.6653 |
0.6116 |
0.6375 |
0.0 |
8000 |
0.5721 |
0.7909 |
0.4671 |
0.0 |
10000 |
0.3238 |
0.8770 |
0.3403 |
0.0 |
12000 |
0.3692 |
0.8861 |
0.4162 |
0.0 |
14000 |
0.4560 |
0.8908 |
0.4728 |
0.0 |
16000 |
0.5071 |
0.8980 |
0.5111 |
0.01 |
18000 |
0.5204 |
0.9015 |
0.4792 |
0.01 |
20000 |
0.5193 |
0.9076 |
0.544 |
0.01 |
22000 |
0.4835 |
0.9133 |
0.4745 |
0.01 |
24000 |
0.4689 |
0.9170 |
0.4403 |
0.01 |
26000 |
0.4778 |
0.9177 |
0.4405 |
0.01 |
28000 |
0.4754 |
0.9163 |
0.4375 |
0.01 |
30000 |
0.4808 |
0.9175 |
0.4628 |
0.01 |
32000 |
0.4340 |
0.9244 |
0.4488 |
0.01 |
34000 |
0.4162 |
0.9265 |
0.4608 |
0.01 |
36000 |
0.4031 |
0.9271 |
0.4478 |
0.01 |
38000 |
0.4502 |
0.9253 |
0.4237 |
0.01 |
40000 |
0.4087 |
0.9279 |
0.4601 |
0.01 |
42000 |
0.4133 |
0.9269 |
0.4153 |
0.01 |
44000 |
0.4230 |
0.9306 |
0.4096 |
0.01 |
46000 |
0.4108 |
0.9301 |
0.4348 |
0.01 |
48000 |
0.4138 |
0.9309 |
0.3787 |
0.01 |
50000 |
0.4066 |
0.9324 |
0.4172 |
0.01 |
52000 |
0.4812 |
0.9206 |
0.3897 |
0.02 |
54000 |
0.4013 |
0.9325 |
0.3787 |
0.02 |
56000 |
0.3837 |
0.9344 |
0.4253 |
0.02 |
58000 |
0.3925 |
0.9347 |
0.3959 |
0.02 |
60000 |
0.3907 |
0.9353 |
0.4402 |
0.02 |
62000 |
0.3708 |
0.9341 |
0.4115 |
0.02 |
64000 |
0.3477 |
0.9361 |
0.3876 |
0.02 |
66000 |
0.3634 |
0.9373 |
0.4286 |
0.02 |
68000 |
0.3778 |
0.9378 |
0.422 |
0.02 |
70000 |
0.3540 |
0.9361 |
0.3732 |
0.02 |
72000 |
0.3853 |
0.9378 |
0.3641 |
0.02 |
74000 |
0.3951 |
0.9386 |
0.3701 |
0.02 |
76000 |
0.3582 |
0.9388 |
0.4498 |
0.02 |
78000 |
0.3268 |
0.9375 |
0.3587 |
0.02 |
80000 |
0.3825 |
0.9401 |
0.4474 |
0.02 |
82000 |
0.3155 |
0.9391 |
0.3598 |
0.02 |
84000 |
0.3666 |
0.9388 |
0.389 |
0.02 |
86000 |
0.3745 |
0.9377 |
0.3625 |
0.02 |
88000 |
0.3776 |
0.9387 |
0.3511 |
0.03 |
90000 |
0.4275 |
0.9336 |
0.3428 |
0.03 |
92000 |
0.4301 |
0.9336 |
0.4042 |
0.03 |
94000 |
0.3547 |
0.9359 |
0.3583 |
0.03 |
96000 |
0.3763 |
0.9396 |
0.3887 |
0.03 |
98000 |
0.3213 |
0.9412 |
0.3915 |
0.03 |
100000 |
0.3557 |
0.9409 |
0.3378 |
0.03 |
102000 |
0.3627 |
0.9418 |
0.349 |
0.03 |
104000 |
0.3614 |
0.9402 |
0.3596 |
0.03 |
106000 |
0.3834 |
0.9381 |
0.3519 |
0.03 |
108000 |
0.3560 |
0.9421 |
0.3598 |
0.03 |
110000 |
0.3485 |
0.9419 |
0.3642 |
0.03 |
112000 |
0.3754 |
0.9395 |
0.3477 |
0.03 |
114000 |
0.3634 |
0.9426 |
0.4202 |
0.03 |
116000 |
0.3071 |
0.9427 |
0.3656 |
0.03 |
118000 |
0.3155 |
0.9441 |
0.3709 |
0.03 |
120000 |
0.2923 |
0.9433 |
0.374 |
0.03 |
122000 |
0.3272 |
0.9441 |
0.3142 |
0.03 |
124000 |
0.3348 |
0.9444 |
0.3452 |
0.04 |
126000 |
0.3603 |
0.9436 |
0.3365 |
0.04 |
128000 |
0.3339 |
0.9434 |
0.3353 |
0.04 |
130000 |
0.3471 |
0.9450 |
0.343 |
0.04 |
132000 |
0.3508 |
0.9418 |
0.3174 |
0.04 |
134000 |
0.3753 |
0.9436 |
0.3009 |
0.04 |
136000 |
0.3687 |
0.9422 |
0.3785 |
0.04 |
138000 |
0.3818 |
0.9396 |
0.3199 |
0.04 |
140000 |
0.3291 |
0.9438 |
0.4049 |
0.04 |
142000 |
0.3372 |
0.9454 |
0.3435 |
0.04 |
144000 |
0.3315 |
0.9459 |
0.3814 |
0.04 |
146000 |
0.3462 |
0.9401 |
0.359 |
0.04 |
148000 |
|
|