许可证: apache-2.0
标签:
- 训练生成
- 预言家
数据集:
- yelp_polarity
评估指标:
- 准确率
模型索引:
- 名称: bert-base-uncased-yelp_polarity
结果:
- 任务:
名称: 文本分类
类型: text-classification
数据集:
名称: yelp_polarity
类型: yelp_polarity
参数: plain_text
评估指标:
- 名称: 准确率
类型: accuracy
值: 0.9516052631578947
bert-base-uncased-yelp_polarity
该模型是基于bert-base-uncased在yelp_polarity数据集上微调的版本。
在评估集上取得了以下结果:
模型描述
需补充更多信息
预期用途与限制
需补充更多信息
训练与评估数据
需补充更多信息
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率: 5e-05
- 训练批次大小: 1
- 评估批次大小: 8
- 随机种子: 42
- 优化器: Adam(beta1=0.9,beta2=0.999,epsilon=1e-08)
- 学习率调度器类型: 线性
- 学习率预热步数: 277200
- 训练总步数: 2772000
训练结果
训练损失 |
周期 |
步数 |
验证损失 |
准确率 |
0.8067 |
0.0 |
2000 |
0.8241 |
0.4975 |
0.5482 |
0.01 |
4000 |
0.3507 |
0.8591 |
0.3427 |
0.01 |
6000 |
0.3750 |
0.9139 |
0.4133 |
0.01 |
8000 |
0.5520 |
0.9016 |
0.4301 |
0.02 |
10000 |
0.3803 |
0.9304 |
0.3716 |
0.02 |
12000 |
0.4168 |
0.9337 |
0.4076 |
0.03 |
14000 |
0.5042 |
0.9170 |
0.3674 |
0.03 |
16000 |
0.4806 |
0.9268 |
0.3813 |
0.03 |
18000 |
0.4227 |
0.9261 |
0.3723 |
0.04 |
20000 |
0.3360 |
0.9418 |
0.3876 |
0.04 |
22000 |
0.3255 |
0.9407 |
0.3351 |
0.04 |
24000 |
0.3283 |
0.9404 |
0.34 |
0.05 |
26000 |
0.3489 |
0.9430 |
0.3006 |
0.05 |
28000 |
0.3302 |
0.9464 |
0.349 |
0.05 |
30000 |
0.3853 |
0.9375 |
0.3696 |
0.06 |
32000 |
0.2992 |
0.9454 |
0.3301 |
0.06 |
34000 |
0.3484 |
0.9464 |
0.3151 |
0.06 |
36000 |
0.3529 |
0.9455 |
0.3682 |
0.07 |
38000 |
0.3052 |
0.9420 |
0.3184 |
0.07 |
40000 |
0.3323 |
0.9466 |
0.3207 |
0.08 |
42000 |
0.3133 |
0.9532 |
0.3346 |
0.08 |
44000 |
0.3826 |
0.9414 |
0.3008 |
0.08 |
46000 |
0.3059 |
0.9484 |
0.3306 |
0.09 |
48000 |
0.3089 |
0.9475 |
0.342 |
0.09 |
50000 |
0.3611 |
0.9486 |
0.3424 |
0.09 |
52000 |
0.3227 |
0.9445 |
0.3044 |
0.1 |
54000 |
0.3130 |
0.9489 |
0.3278 |
0.1 |
56000 |
0.3827 |
0.9368 |
0.288 |
0.1 |
58000 |
0.3080 |
0.9504 |
0.3342 |
0.11 |
60000 |
0.3252 |
0.9471 |
0.3737 |
0.11 |
62000 |
0.4250 |
0.9343 |
框架版本
- Transformers 4.10.2
- PyTorch 1.7.1
- Datasets 1.6.1
- Tokenizers 0.10.3