Wav2vec2 Large Xlsr 53 German Cv9

由 oliverguhr 开发

这是一个基于Facebook的wav2vec2-large-xlsr-53模型在德语Common Voice 9.0数据集上微调的自动语音识别(ASR)模型。

语音识别

Transformers

德语

开源协议:Apache-2.0 #德语语音识别 #低WER #XLSR预训练

下载量 98

发布时间 : 6/13/2022

模型介绍

内容详情

替代品

模型简介

该模型专门用于德语语音识别任务，在Common Voice 9.0德语测试集上取得了WER 9.48和CER 1.92的优异表现。

模型特点

高性能德语语音识别

在Common Voice 9.0德语测试集上WER仅为9.48，CER为1.92

基于大规模预训练模型

基于Facebook的wav2vec2-large-xlsr-53模型微调，继承了其强大的语音表示能力

支持语言模型融合

结合语言模型(LM)后，WER可进一步降低至7.49

模型能力

德语语音识别

语音转文本

自动语音转录

使用案例

语音转录

德语语音转录

将德语语音内容转换为文本

WER 9.48, CER 1.92

语音助手

德语语音指令识别

用于德语语音助手中的语音指令识别

语言:

德语许可证: apache-2.0 标签:
自动语音识别
mozilla-foundation/common_voice_9_0
训练生成数据集:
mozilla-foundation/common_voice_9_0 模型索引:
名称: wav2vec2-large-xlsr-53-german-cv9 结果:
- 任务: 名称: 自动语音识别类型: automatic-speech-recognition 数据集: 名称: Common Voice 9 类型: mozilla-foundation/common_voice_9_0 参数: 德语指标:
  - 名称: 测试WER 类型: wer 值: 9.480663281840769
  - 名称: 测试CER 类型: cer 值: 1.9167347943074394
- 任务: 名称: 自动语音识别类型: automatic-speech-recognition 数据集: 名称: Common Voice 9 类型: mozilla-foundation/common_voice_9_0 参数: 德语指标:
  - 名称: 测试WER (+LM) 类型: wer 值: 7.49027762774117
  - 名称: 测试CER (+LM) 类型: cer 值: 1.9167347943074394
- 任务: 名称: 自动语音识别类型: automatic-speech-recognition 数据集: 名称: Common Voice 6.1 类型: common_voice 参数: 德语指标:
  - 名称: 测试WER 类型: wer 值: 8.122005951166668
  - 名称: 测试CER 类型: cer 值: 1.
- 任务: 名称: 自动语音识别类型: automatic-speech-recognition 数据集: 名称: Common Voice 6.1 类型: common_voice 参数: 德语指标:
  - 名称: 测试WER (+LM) 类型: wer 值: 6.1453182045203544
  - 名称: 测试CER (+LM) 类型: cer 值: 1.5247743373447677

wav2vec2-large-xlsr-53-german-cv9

该模型是基于./facebook/wav2vec2-large-xlsr-53在MOZILLA-FOUNDATION/COMMON_VOICE_9_0 - 德语数据集上微调的版本。

在测试集上取得了以下结果:

CER: 2.273015898213336
WER: 9.480663281840769

模型描述

需要更多信息

预期用途与限制

需要更多信息

训练与评估数据

需要更多信息

训练过程

训练超参数

训练过程中使用了以下超参数:

学习率: 0.0001
训练批次大小: 16
评估批次大小: 32
随机种子: 42
梯度累积步数: 8
总训练批次大小: 128
优化器: Adam，参数beta=(0.9,0.999)，epsilon=1e-08
学习率调度器类型: 线性
学习率预热比例: 0.1
训练轮数: 50.0
混合精度训练: Native AMP

训练结果

训练损失	轮次	步数	验证损失	评估WER
0.4129	1.0	3557	0.3015	0.2499
0.2121	2.0	7114	0.1596	0.1567
0.1455	3.0	10671	0.1377	0.1354
0.1436	4.0	14228	0.1301	0.1282
0.1144	5.0	17785	0.1225	0.1245
0.1219	6.0	21342	0.1254	0.1208
0.104	7.0	24899	0.1198	0.1232
0.1016	8.0	28456	0.1149	0.1174
0.1093	9.0	32013	0.1186	0.1186
0.0858	10.0	35570	0.1182	0.1164
0.102	11.0	39127	0.1191	0.1186
0.0834	12.0	42684	0.1161	0.1096
0.0916	13.0	46241	0.1147	0.1107
0.0811	14.0	49798	0.1174	0.1136
0.0814	15.0	53355	0.1132	0.1114
0.0865	16.0	56912	0.1134	0.1097
0.0701	17.0	60469	0.1096	0.1054
0.0891	18.0	64026	0.1110	0.1076
0.071	19.0	67583	0.1141	0.1074
0.0726	20.0	71140	0.1094	0.1093
0.0647	21.0	74697	0.1088	0.1095
0.0643	22.0	78254	0.1105	0.1044
0.0764	23.0	81811	0.1072	0.1042
0.0605	24.0	85368	0.1095	0.1026
0.0722	25.0	88925	0.1144	0.1066
0.0597	26.0	92482	0.1087	0.1022
0.062	27.0	96039	0.1073	0.1027
0.0536	28.0	99596	0.1068	0.1027
0.0616	29.0	103153	0.1097	0.1037
0.0642	30.0	106710	0.1117	0.1020
0.0555	31.0	110267	0.1109	0.0990
0.0632	32.0	113824	0.1104	0.0977
0.0482	33.0	117381	0.1108	0.0958
0.0601	34.0	120938	0.1095	0.0957
0.0508	35.0	124495	0.1079	0.0973
0.0526	36.0	128052	0.1068	0.0967
0.0487	37.0	131609	0.1081	0.0966
0.0495	38.0	135166	0.1099	0.0956
0.0528	39.0	138723	0.1091	0.0923
0.0439	40.0	142280	0.1111	0.0928
0.0467	41.0	145837	0.1131	0.0943
0.0407	42.0	149394	0.1115	0.0944
0.046	43.0	152951	0.1106	0.0935
0.0447	44.0	156508	0.1083	0.0919
0.0434	45.0	160065	0.1093	0.0909
0.0472	46.0	163622	0.1092	0.0921
0.0414	47.0	167179	0.1106	0.0922
0.0501	48.0	170736	0.1094	0.0918
0.0388	49.0	174293	0.1099	0.0918
0.0428	50.0	177850	0.1103	0.0915