语言:
- 乌克兰语
许可证: mit
标签:
- 自动语音识别
- common_voice
- 训练生成
数据集:
- common_voice
模型索引:
- 名称: wav2vec2-xls-r-300m-uk
结果:
- 任务:
名称: 语音识别
类型: 自动语音识别
数据集:
名称: Common Voice 乌克兰语
类型: common_voice
参数: uk
指标:
- 名称: 测试WER
类型: wer
值: 12.22
wav2vec2-xls-r-300m-uk
该模型是基于facebook/wav2vec2-xls-r-300m在None数据集上微调的版本。
在评估集上取得了以下结果:
- 损失: 0.0927
- 词错误率(WER): 0.1222
- 字符错误率(CER): 0.0204
模型描述
需要更多信息
预期用途与限制
需要更多信息
训练与评估数据
需要更多信息
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率: 3e-05
- 训练批次大小: 40
- 评估批次大小: 40
- 随机种子: 42
- 梯度累积步数: 6
- 总训练批次大小: 240
- 优化器: Adam,参数为betas=(0.9,0.999)和epsilon=1e-08
- 学习率调度器类型: 线性
- 学习率预热步数: 100
- 训练轮数: 100
- 混合精度训练: 原生AMP
训练结果
训练损失 |
轮次 |
步数 |
字符错误率(CER) |
验证损失 |
词错误率(WER) |
9.0008 |
1.68 |
200 |
1.0 |
3.7590 |
1.0 |
3.4972 |
3.36 |
400 |
1.0 |
3.3933 |
1.0 |
3.3432 |
5.04 |
600 |
1.0 |
3.2617 |
1.0 |
3.2421 |
6.72 |
800 |
1.0 |
3.0712 |
1.0 |
1.9839 |
7.68 |
1000 |
0.1400 |
0.7204 |
0.6561 |
0.8017 |
9.36 |
1200 |
0.0766 |
0.3734 |
0.4159 |
0.5554 |
11.04 |
1400 |
0.0583 |
0.2621 |
0.3237 |
0.4309 |
12.68 |
1600 |
0.0486 |
0.2085 |
0.2753 |
0.3697 |
14.36 |
1800 |
0.0421 |
0.1746 |
0.2427 |
0.3293 |
16.04 |
2000 |
0.0388 |
0.1597 |
0.2243 |
0.2934 |
17.72 |
2200 |
0.0358 |
0.1428 |
0.2083 |
0.2704 |
19.4 |
2400 |
0.0333 |
0.1326 |
0.1949 |
0.2547 |
21.08 |
2600 |
0.0322 |
0.1255 |
0.1882 |
0.2366 |
22.76 |
2800 |
0.0309 |
0.1211 |
0.1815 |
0.2183 |
24.44 |
3000 |
0.0294 |
0.1159 |
0.1727 |
0.2115 |
26.13 |
3200 |
0.0280 |
0.1117 |
0.1661 |
0.1968 |
27.8 |
3400 |
0.0274 |
0.1063 |
0.1622 |
0.1922 |
29.48 |
3600 |
0.0269 |
0.1082 |
0.1598 |
0.1847 |
31.17 |
3800 |
0.0260 |
0.1061 |
0.1550 |
0.1715 |
32.84 |
4000 |
0.0252 |
0.1014 |
0.1496 |
0.1689 |
34.53 |
4200 |
0.0250 |
0.1012 |
0.1492 |
0.1655 |
36.21 |
4400 |
0.0243 |
0.0999 |
0.1450 |
0.1585 |
37.88 |
4600 |
0.0239 |
0.0967 |
0.1432 |
0.1492 |
39.57 |
4800 |
0.0237 |
0.0978 |
0.1421 |
0.1491 |
41.25 |
5000 |
0.0236 |
0.0963 |
0.1412 |
0.1453 |
42.93 |
5200 |
0.0230 |
0.0979 |
0.1373 |
0.1386 |
44.61 |
5400 |
0.0227 |
0.0959 |
0.1353 |
0.1387 |
46.29 |
5600 |
0.0226 |
0.0927 |
0.1355 |
0.1329 |
47.97 |
5800 |
0.0224 |
0.0951 |
0.1341 |
0.1295 |
49.65 |
6000 |
0.0219 |
0.0950 |
0.1306 |
0.1287 |
51.33 |
6200 |
0.0216 |
0.0937 |
0.1290 |
0.1277 |
53.02 |
6400 |
0.0215 |
0.0963 |
0.1294 |
0.1201 |
54.69 |
6600 |
0.0213 |
0.0959 |
0.1282 |
0.1199 |
56.38 |
6800 |
0.0215 |
0.0944 |
0.1286 |
0.1221 |
58.06 |
7000 |
0.0209 |
0.0938 |
0.1249 |
0.1145 |
59.68 |
7200 |
0.0208 |
0.0941 |
0.1254 |
0.1143 |
61.36 |
7400 |
0.0209 |
0.0941 |
0.1249 |
0.1143 |
63.04 |
7600 |
0.0209 |
0.0940 |
0.1248 |
0.1137 |
64.72 |
7800 |
0.0205 |
0.0931 |
0.1234 |
0.1125 |
66.4 |
8000 |
0.0204 |
0.0927 |
0.1222 |
框架版本
- Transformers 4.25.1
- Pytorch 1.13.1+cu117
- Datasets 2.8.0
- Tokenizers 0.13.2