license: apache-2.0
tags:
- 训练生成
datasets:
- common_voice
model-index:
- name: wav2vec2-large-multilang-cv-ru
results: []
wav2vec2-large-multilang-cv-ru
该模型是基于facebook/wav2vec2-large-xlsr-53在common_voice数据集上微调的版本。其在评估集上的表现如下:
- 损失值:0.9734
- 词错误率(WER):0.7037
模型描述
需补充更多信息
预期用途与限制
需补充更多信息
训练与评估数据
需补充更多信息
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率:0.0005
- 训练批次大小:8
- 评估批次大小:8
- 随机种子:42
- 优化器:Adam(β1=0.9,β2=0.999,ε=1e-08)
- 学习率调度器类型:线性
- 学习率预热步数:1000
- 训练轮次:30
- 混合精度训练:原生AMP
训练结果
训练损失 |
训练轮次 |
步数 |
验证损失 |
词错误率 |
6.0328 |
0.79 |
500 |
3.0713 |
1.0 |
1.9426 |
1.58 |
1000 |
1.2048 |
0.9963 |
1.1285 |
2.37 |
1500 |
0.9825 |
0.9282 |
0.9462 |
3.15 |
2000 |
0.8836 |
0.8965 |
0.8274 |
3.94 |
2500 |
0.8134 |
0.8661 |
0.7106 |
4.73 |
3000 |
0.8033 |
0.8387 |
0.6545 |
5.52 |
3500 |
0.8309 |
0.8366 |
0.6013 |
6.31 |
4000 |
0.7667 |
0.8240 |
0.5599 |
7.1 |
4500 |
0.7740 |
0.8160 |
0.5027 |
7.89 |
5000 |
0.7796 |
0.8188 |
0.4588 |
8.68 |
5500 |
0.8204 |
0.7968 |
0.4448 |
9.46 |
6000 |
0.8277 |
0.7738 |
0.4122 |
10.25 |
6500 |
0.8292 |
0.7776 |
0.3816 |
11.04 |
7000 |
0.8548 |
0.7907 |
0.3587 |
11.83 |
7500 |
0.8245 |
0.7805 |
0.3374 |
12.62 |
8000 |
0.8371 |
0.7701 |
0.3214 |
13.41 |
8500 |
0.8311 |
0.7822 |
0.3072 |
14.2 |
9000 |
0.8940 |
0.7674 |
0.2929 |
14.98 |
9500 |
0.8788 |
0.7604 |
0.257 |
15.77 |
10000 |
0.8911 |
0.7633 |
0.2592 |
16.56 |
10500 |
0.8673 |
0.7604 |
0.2392 |
17.35 |
11000 |
0.9582 |
0.7810 |
0.232 |
18.14 |
11500 |
0.9340 |
0.7423 |
0.2252 |
18.93 |
12000 |
0.8874 |
0.7320 |
0.2079 |
19.72 |
12500 |
0.9436 |
0.7483 |
0.2003 |
20.5 |
13000 |
0.9573 |
0.7638 |
0.194 |
21.29 |
13500 |
0.9361 |
0.7308 |
0.188 |
22.08 |
14000 |
0.9704 |
0.7221 |
0.1754 |
22.87 |
14500 |
0.9668 |
0.7265 |
0.1688 |
23.66 |
15000 |
0.9680 |
0.7246 |
0.162 |
24.45 |
15500 |
0.9443 |
0.7066 |
0.1617 |
25.24 |
16000 |
0.9664 |
0.7265 |
0.1504 |
26.03 |
16500 |
0.9505 |
0.7189 |
0.1425 |
26.81 |
17000 |
0.9536 |
0.7112 |
0.134 |
27.6 |
17500 |
0.9674 |
0.7047 |
0.1301 |
28.39 |
18000 |
0.9852 |
0.7066 |
0.1314 |
29.18 |
18500 |
0.9766 |
0.7073 |
0.1219 |
29.97 |
19000 |
0.9734 |
0.7037 |
框架版本
- Transformers 4.19.2
- Pytorch 1.11.0
- Datasets 2.2.2
- Tokenizers 0.12.1