语言:
- 泰卢固语
许可证: Apache-2.0
标签:
- 自动语音识别
- OpenSLR_SLR66
- 训练生成
- 鲁棒语音事件
- HF-ASR排行榜
数据集:
- OpenSLR
- SLR66
评估指标:
- 词错误率(WER)
模型索引:
- 名称: xls-r-1B-te
结果:
- 任务:
类型: 自动语音识别
名称: 语音识别
数据集:
类型: OpenSLR
名称: Open SLR
参数: SLR66
评估指标:
- 类型: WER
值: 20.624
名称: 测试集WER
- 类型: CER
值: 3.979
名称: 测试集CER
- 类型: WER
值: 26.14777618364419
名称: 测试集WER(无语言模型)
- 类型: CER
值: 4.932543184970369
名称: 测试集CER(无语言模型)
该模型是基于facebook/wav2vec2-xls-r-1b在OPENSLR_SLR66-NA数据集上微调的版本。在评估集上取得如下结果:
评估指标
指标 |
数据分割 |
是否使用语言模型解码 |
值 |
WER |
训练集 |
否 |
5.36 |
CER |
训练集 |
否 |
1.11 |
WER |
测试集 |
否 |
26.14 |
CER |
测试集 |
否 |
4.93 |
WER |
训练集 |
是 |
5.04 |
CER |
训练集 |
是 |
1.07 |
WER |
测试集 |
是 |
20.69 |
CER |
测试集 |
是 |
3.986 |
模型描述
需补充更多信息
预期用途与限制
需补充更多信息
训练与评估数据
需补充更多信息
训练流程
训练超参数
训练过程中使用以下超参数:
- 学习率: 2e-05
- 训练批大小: 16
- 评估批大小: 4
- 随机种子: 42
- 梯度累积步数: 2
- 总训练批大小: 32
- 优化器: Adam (β1=0.9, β2=0.999, ε=1e-08)
- 学习率调度器类型: 线性
- 学习率预热步数: 2000
- 训练轮数: 150.0
- 混合精度训练: 原生AMP
训练结果
训练损失 |
训练轮数 |
步数 |
验证损失 |
WER |
2.9038 |
4.8 |
500 |
3.0125 |
1.0 |
1.3777 |
9.61 |
1000 |
0.8681 |
0.8753 |
1.1436 |
14.42 |
1500 |
0.6256 |
0.7961 |
1.0997 |
19.23 |
2000 |
0.5244 |
0.6875 |
1.0363 |
24.04 |
2500 |
0.4585 |
0.6276 |
0.7996 |
28.84 |
3000 |
0.4072 |
0.5295 |
0.825 |
33.65 |
3500 |
0.3590 |
0.5222 |
0.8018 |
38.46 |
4000 |
0.3678 |
0.4671 |
0.7545 |
43.27 |
4500 |
0.3474 |
0.3962 |
0.7375 |
48.08 |
5000 |
0.3224 |
0.3869 |
0.6198 |
52.88 |
5500 |
0.3233 |
0.3630 |
0.6608 |
57.69 |
6000 |
0.3029 |
0.3308 |
0.645 |
62.5 |
6500 |
0.3195 |
0.3722 |
0.5249 |
67.31 |
7000 |
0.3004 |
0.3202 |
0.4875 |
72.11 |
7500 |
0.2826 |
0.2992 |
0.5171 |
76.92 |
8000 |
0.2962 |
0.2976 |
0.4974 |
81.73 |
8500 |
0.2990 |
0.2933 |
0.4387 |
86.54 |
9000 |
0.2834 |
0.2755 |
0.4511 |
91.34 |
9500 |
0.2886 |
0.2787 |
0.4112 |
96.15 |
10000 |
0.3093 |
0.2976 |
0.4064 |
100.96 |
10500 |
0.3123 |
0.2863 |
0.4047 |
105.77 |
11000 |
0.2968 |
0.2719 |
0.3519 |
110.57 |
11500 |
0.3106 |
0.2832 |
0.3719 |
115.38 |
12000 |
0.3030 |
0.2737 |
0.3669 |
120.19 |
12500 |
0.2964 |
0.2714 |
0.3386 |
125.0 |
13000 |
0.3101 |
0.2714 |
0.3137 |
129.8 |
13500 |
0.3063 |
0.2710 |
0.3008 |
134.61 |
14000 |
0.3082 |
0.2617 |
0.301 |
139.42 |
14500 |
0.3121 |
0.2628 |
0.3291 |
144.23 |
15000 |
0.3105 |
0.2612 |
0.3133 |
149.04 |
15500 |
0.3114 |
0.2624 |
框架版本
- Transformers 4.16.0.dev0
- PyTorch 1.10.1+cu102
- Datasets 1.17.1.dev0
- Tokenizers 0.11.0