语言:

• 德语 库名称: nemo 数据集:
• VoxPopuli
• multilingual_librispeech
• mozilla-foundation/common_voice_7_0 缩略图: null 标签:
• 自动语音识别
• 语音
• 音频
• CTC
• Conformer
• Transformer
• pytorch
• NeMo
• hf-asr-leaderboard 许可证: cc-by-4.0 小部件:
• 示例标题: Librispeech 样本 1 来源: https://cdn-media.huggingface.co/speech_samples/sample1.flac
• 示例标题: Librispeech 样本 2 来源: https://cdn-media.huggingface.co/speech_samples/sample2.flac 模型索引:
• 名称: stt_de_conformer_transducer_large 结果:
  • 任务: 类型: 自动语音识别 名称: 语音识别 数据集: 名称: common-voice-7-0 类型: mozilla-foundation/common_voice_7_0 配置: de 分割: test 参数: 语言: de 指标:
    • 名称: 测试 WER 类型: wer 值: 4.93
  • 任务: 类型: 自动语音识别 名称: 自动语音识别 数据集: 名称: Multilingual LibriSpeech 类型: facebook/multilingual_librispeech 配置: german 分割: test 参数: 语言: de 指标:
    • 名称: 测试 WER 类型: wer 值: 3.85
  • 任务: 类型: 自动语音识别 名称: 自动语音识别 数据集: 名称: Vox Populi 类型: polinaeterna/voxpopuli 参数: 语言: de 指标:
    • 名称: 测试 WER 类型: wer 值: 5.7

NVIDIA Conformer-Transducer 大型模型 (德语)

| | |

该模型将语音转录为小写德语字母及空格。
这是一个“大型”版本的Conformer-Transducer模型（约1.2亿参数）。
完整架构细节请参见模型架构部分和NeMo文档。

NVIDIA NeMo：训练

要训练、微调或使用该模型，您需要安装NVIDIA NeMo。建议在安装最新版PyTorch后安装它。

pip install nemo_toolkit['all']

如何使用该模型

该模型可在NeMo工具包[3]中使用，可作为预训练检查点用于推理或在其他数据集上进行微调。

自动实例化模型

import nemo.collections.asr as nemo_asr
asr_model = nemo_asr.models.EncDecRNNTBPEModel.from_pretrained("nvidia/stt_de_conformer_transducer_large")

使用Python转录

首先，获取一个样本

wget https://dldata-public.s3.us-east-2.amazonaws.com/2086-149220-0033.wav

然后简单执行：

output = asr_model.transcribe(['2086-149220-0033.wav'])
print(output[0].text)

转录多个音频文件

python [NEMO_GIT_FOLDER]/examples/asr/transcribe_speech.py 
 pretrained_name="nvidia/stt_de_conformer_transducer_large" 
 audio_dir="<包含音频文件的目录>"

输入

该模型接受16KHz单声道音频（wav文件）作为输入。

输出

该模型为给定音频样本提供转录后的语音字符串。

模型架构

Conformer-Transducer模型是Conformer模型[1]的自回归变体，用于自动语音识别，使用Transducer损失/解码而非CTC损失。更多详细信息可在此处找到：Conformer-Transducer模型。

训练

NeMo工具包[3]用于训练模型数百个epoch。这些模型使用此示例脚本和此基础配置进行训练。

这些模型的分词器使用训练集的文本转录通过此脚本构建。

数据集

该系列中的所有模型均在包含数千小时德语语音的复合数据集（NeMo ASRSET）上训练：

• VoxPopuli (DE) 200小时子集
• Multilingual Librispeech (MLS DE) - 1500小时子集
• Mozilla Common Voice (v7.0)

注意：旧版本的模型可能在较小的数据集上训练。

性能

下表展示了该系列中可用模型的列表。ASR模型的性能以贪婪解码的词错误率（WER%）报告。

局限性

由于该模型在公开可用的语音数据集上训练，对于包含技术术语或模型未训练过的方言的语音，其性能可能会下降。该模型在口音语音上的表现也可能较差。

NVIDIA Riva：部署

NVIDIA Riva，是一个可加速的语音AI SDK，可部署在本地、所有云、多云、混合云、边缘和嵌入式设备上。
此外，Riva提供：

• 世界级的开箱即用准确性，针对最常见语言，模型检查点基于专有数据训练，耗费数十万GPU计算小时
• 最佳准确性，支持运行时词汇增强（如品牌和产品名称）以及声学模型、语言模型和逆文本归一化的定制
• 流式语音识别、Kubernetes兼容的扩展和企业级支持

尽管Riva尚未支持该模型，但支持的模型列表在此。
查看Riva实时演示。

参考文献

[1] Conformer: Convolution-augmented Transformer for Speech Recognition [2] Google Sentencepiece Tokenizer [3] NVIDIA NeMo Toolkit

许可证

使用该模型的许可证涵盖CC-BY-4.0。通过下载该模型的公共和发布版本，您接受CC-BY-4.0许可证的条款和条件。