语言:
- 保加利亚语 (bg)
许可证: Apache-2.0
标签:
- 自动语音识别
- 保加利亚语 (bg)
- 训练生成
- hf-asr排行榜
- 对话模型
- mozilla-foundation/common_voice_8_0
- 鲁棒语音事件
数据集:
- mozilla-foundation/common_voice_8_0
模型索引:
- 名称: wav2vec2-large-xls-r-300m-bg-v1
结果:
- 任务:
名称: 自动语音识别
类型: automatic-speech-recognition
数据集:
名称: Common Voice 8
类型: mozilla-foundation/common_voice_8_0
参数: bg
指标:
- 名称: 测试WER
类型: wer
值: 0.4709579127785184
- 名称: 测试CER
类型: cer
值: 0.10205125354383235
- 任务:
名称: 自动语音识别
类型: automatic-speech-recognition
数据集:
名称: 鲁棒语音事件 - 开发数据
类型: speech-recognition-community-v2/dev_data
参数: bg
指标:
- 名称: 测试WER
类型: wer
值: 0.7053128872366791
- 名称: 测试CER
类型: cer
值: 0.210804311998487
- 任务:
名称: 自动语音识别
类型: automatic-speech-recognition
数据集:
名称: 鲁棒语音事件 - 测试数据
类型: speech-recognition-community-v2/eval_data
参数: bg
指标:
- 名称: 测试WER
类型: wer
值: 72.6
该模型是在MOZILLA-FOUNDATION/COMMON_VOICE_8_0 - BG数据集上对facebook/wav2vec2-xls-r-300m进行微调的版本。
在评估集上取得了以下结果:
评估命令
- 在mozilla-foundation/common_voice_8_0的测试集上评估
python eval.py --model_id DrishtiSharma/wav2vec2-large-xls-r-300m-bg-v1 --dataset mozilla-foundation/common_voice_8_0 --config bg --split test --log_outputs
- 在speech-recognition-community-v2/dev_data上评估
python eval.py --model_id DrishtiSharma/wav2vec2-large-xls-r-300m-bg-v1 --dataset speech-recognition-community-v2/dev_data --config bg --split validation --chunk_length_s 10 --stride_length_s 1
训练超参数
训练过程中使用了以下超参数:
- 学习率: 7e-05
- 训练批次大小: 32
- 评估批次大小: 16
- 随机种子: 42
- 优化器: Adam,参数为betas=(0.9,0.999),epsilon=1e-08
- 学习率调度器类型: 线性
- 学习率预热步数: 2000
- 训练轮数: 50.0
- 混合精度训练: Native AMP
训练结果
训练损失 |
轮次 |
步数 |
验证损失 |
WER |
4.3711 |
2.61 |
300 |
4.3122 |
1.0 |
3.1653 |
5.22 |
600 |
3.1156 |
1.0 |
2.8904 |
7.83 |
900 |
2.8421 |
0.9918 |
0.9207 |
10.43 |
1200 |
0.9895 |
0.8689 |
0.6384 |
13.04 |
1500 |
0.6994 |
0.7700 |
0.5215 |
15.65 |
1800 |
0.5628 |
0.6443 |
0.4573 |
18.26 |
2100 |
0.5316 |
0.6174 |
0.3875 |
20.87 |
2400 |
0.4932 |
0.5779 |
0.3562 |
23.48 |
2700 |
0.4972 |
0.5475 |
0.3218 |
26.09 |
3000 |
0.4895 |
0.5219 |
0.2954 |
28.7 |
3300 |
0.5226 |
0.5192 |
0.287 |
31.3 |
3600 |
0.4957 |
0.5146 |
0.2587 |
33.91 |
3900 |
0.4944 |
0.4893 |
0.2496 |
36.52 |
4200 |
0.4976 |
0.4895 |
0.2365 |
39.13 |
4500 |
0.5185 |
0.4819 |
0.2264 |
41.74 |
4800 |
0.5152 |
0.4776 |
0.2224 |
44.35 |
5100 |
0.5031 |
0.4746 |
0.2096 |
46.96 |
5400 |
0.5062 |
0.4708 |
0.2038 |
49.57 |
5700 |
0.5217 |
0.4698 |
框架版本
- Transformers 4.17.0.dev0
- Pytorch 1.10.2+cu102
- Datasets 1.18.2.dev0
- Tokenizers 0.11.0