语言:

• 荷兰语 标签:
• 自动语音识别
• hf-asr排行榜
• 对话模型
• mozilla-foundation/common_voice_8_0
• 荷兰语
• 鲁棒语音事件
• 佛兰芒语 数据集:
• mozilla-foundation/common_voice_8_0
• multilingual_librispeech 模型索引:
• 名称: xls-r-nl-v1-cv8-lm 结果:
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: Common Voice 8 类型: mozilla-foundation/common_voice_8_0 参数: nl 指标:
    • 名称: 测试WER 类型: wer 值: 6.69
    • 名称: 测试CER 类型: cer 值: 1.97
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: 鲁棒语音事件 - 开发数据 类型: speech-recognition-community-v2/dev_data 参数: nl 指标:
    • 名称: 测试WER 类型: wer 值: 20.79
    • 名称: 测试CER 类型: cer 值: 10.72
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: 鲁棒语音事件 - 测试数据 类型: speech-recognition-community-v2/eval_data 参数: nl 指标:
    • 名称: 测试WER 类型: wer 值: 19.71

基于XLS-R的CTC模型，带有来自Common Voice的5-gram语言模型

该模型是facebook/wav2vec2-xls-r-2b-22-to-16的一个版本，主要在MOZILLA-FOUNDATION/COMMON_VOICE_8_0 - NL数据集上进行了微调（详情见下文），并基于Common Voice训练语料库添加了一个小型5-gram语言模型。该模型在Common Voice 8.0的评估集上取得了以下结果：

• WER: 0.0669
• CER: 0.0197

模型描述

该模型接收16kHz的声音输入，并使用带有48个字母的Wav2Vec2ForCTC解码器输出最终结果。

为了提高准确性，使用了束搜索解码器；束的评分基于Common Voice 8语料库训练的5-gram语言模型。

预期用途与限制

该模型可用于将荷兰语或佛兰芒口语转换为文本（无标点符号）。

训练与评估数据

0. 模型初始化为Facebook的20亿参数模型。
1. 然后在multilingual_librispeech数据集的dutch配置上训练了2000次迭代（批次大小32）。
2. 接着在common_voice_8_0数据集的nl配置上训练了2000次迭代（批次大小32）。
3. 随后在cgn数据集上训练了6000次迭代（批次大小32）。
4. 最后在common_voice_8_0数据集的nl配置上训练了6000次迭代（批次大小32）。

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.2.dev0
• Tokenizers 0.11.0