语言: 中文 数据集:

• 通用语音 评估指标:
• 词错误率(WER)
• 字符错误率(CER) 标签:
• 音频
• 自动语音识别
• 语音
• XLSR微调周 许可证: Apache-2.0 模型索引:
• 名称: wbbbbb的XLSR Wav2Vec2中文模型(zh-CN) 结果:
  • 任务: 名称: 语音识别 类型: 自动语音识别 数据集: 名称: 通用语音中文(zh-CN) 类型: common_voice 参数: zh-CN 指标:
    • 名称: 测试WER 类型: wer 值: 70.47
    • 名称: 测试CER 类型: cer 值: 12.30

针对中文语音识别微调的XLSR-53大模型

基于facebook/wav2vec2-large-xlsr-53，使用Common Voice 6.1的训练和验证集、CSS10以及ST-CMDS对中文进行了微调。使用该模型时，请确保语音输入采样率为16kHz。

本模型在RTX3090上进行了50小时的微调训练。

训练脚本详见: https://github.com/jonatasgrosman/wav2vec2-sprint

使用方式

该模型可直接使用（无需语言模型）如下...

通过HuggingSound库:

from huggingsound import SpeechRecognitionModel
model = SpeechRecognitionModel("wbbbbb/wav2vec2-large-chinese-zh-cn")
audio_paths = ["/path/to/file.mp3", "/path/to/another_file.wav"]
transcriptions = model.transcribe(audio_paths)

评估

可在Common Voice的中文(zh-CN)测试数据上按以下方式评估模型性能。

（此处保留原代码部分，仅作格式转换，内容不变）

测试结果:

下表展示了模型的词错误率(WER)和字符错误率(CER)。我们于2022-07-18使用上述评估脚本对其他模型也进行了测试。请注意，由于不同评估脚本的差异，下表结果可能与已报告数据存在出入。

引用

若需引用本模型，请使用以下格式:

@misc{grosman2021xlsr53-large-chinese,
  title={基于XLSR-53大模型的中文语音识别微调模型},
  author={Grosman, Jonatas},
  howpublished={\url{https://huggingface.co/wbbbbb/wav2vec2-large-chinese-zh-cn}},
  year={2021}
}