语言: 加泰罗尼亚语
数据集:

• 通用语音(Common Voice)
  评估指标:
• 词错误率(WER)
  标签:
• 音频
• 自动语音识别
• 语音
• XLSR微调周
  许可证: Apache-2.0
  模型索引:
• 名称: 加泰罗尼亚语XLSR Wav2Vec大型53模型
  成果:
  • 任务:
    名称: 语音识别
    类型: 自动语音识别
    数据集:
    名称: 通用语音加泰罗尼亚语
    类型: common_voice
    参数: ca
    指标:
    • 名称: 测试词错误率
      类型: wer
      值: 8.11

免责声明

本模型基于Common Voice 6训练，如需加泰罗尼亚语ASR模型，推荐使用wav2vec2-xls-r-1b-ca-lm——该10亿参数模型在CV8+数据集上训练并集成语言模型，性能更优；或选用同等规模(3亿参数)但基于CV8+训练且集成相同语言模型的wav2vec2-xls-r-300m-ca-lm。

Wav2Vec2-Large-XLSR-53-ca

基于facebook/wav2vec2-large-xlsr-53模型，使用通用语音加泰罗尼亚语数据集微调。使用时请确保语音输入为16kHz采样率。

使用方法

无需语言模型即可直接使用：

（代码部分保持原样，此处省略）

评估

可通过以下方式在通用语音加泰罗尼亚语测试集上评估模型：

（代码部分保持原样，此处省略）

测试结果: 8.11%

训练过程

使用通用语音的train和validation数据集进行训练。第二 epoch 时因内存问题中断，后降低批量大小继续训练，并通过调整梯度步长保持等效批量大小为32。随后额外训练10个 epoch，期间半数男性样本音高被提升。

训练脚本详见此处。为加速训练时的长度排序进行了微调，方法参见此讨论。另有一个使用额外数据且训练时间更长的加泰罗尼亚语版本ccoreilly/wav2vec2-large-xlsr-catala，因其测试集包含部分通用语音数据，本版本可作为通用语音数据集的基准模型。