语言:

• 英文 库名称: nemo 数据集:
• librispeech_asr
• fisher_corpus
• Switchboard-1
• WSJ-0
• WSJ-1
• 新加坡国家语料库第一部分
• 新加坡国家语料库第六部分
• vctk
• voxpopuli
• europarl
• 多语言LibriSpeech
• mozilla-foundation/common_voice_8_0
• MLCommons/peoples_speech 缩略图: null 标签:
• 自动语音识别
• 语音
• 音频
• FastConformer
• Conformer
• pytorch
• NeMo
• hf-asr-leaderboard
• ctc 许可证: cc-by-4.0 小部件:
• 示例标题: Librispeech样本1 来源: https://cdn-media.huggingface.co/speech_samples/sample1.flac
• 示例标题: Librispeech样本2 来源: https://cdn-media.huggingface.co/speech_samples/sample2.flac 模型索引:
• 名称: parakeet-ctc-0.6b 结果:
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: AMI（会议测试集） 类型: edinburghcstr/ami 配置: ihm 分割: test 参数: 语言: en 指标:
    • 名称: 测试WER 类型: wer 值: 16.3
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: Earnings-22 类型: revdotcom/earnings22 分割: test 参数: 语言: en 指标:
    • 名称: 测试WER 类型: wer 值: 14.14
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: GigaSpeech 类型: speechcolab/gigaspeech 分割: test 参数: 语言: en 指标:
    • 名称: 测试WER 类型: wer 值: 10.35
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: LibriSpeech（干净） 类型: librispeech_asr 配置: other 分割: test 参数: 语言: en 指标:
    • 名称: 测试WER 类型: wer 值: 1.87
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: LibriSpeech（其他） 类型: librispeech_asr 配置: other 分割: test 参数: 语言: en 指标:
    • 名称: 测试WER 类型: wer 值: 3.76
  • 任务: 类型: 自动语音识别 名称: automatic-speech-recognition 数据集: 名称: SPGI Speech 类型: kensho/spgispeech 配置: test 分割: test 参数: 语言: en 指标:
    • 名称: 测试WER 类型: wer 值: 4.11
  • 任务: 类型: 自动语音识别 名称: automatic-speech-recognition 数据集: 名称: tedlium-v3 类型: LIUM/tedlium 配置: release1 分割: test 参数: 语言: en 指标:
    • 名称: 测试WER 类型: wer 值: 3.78
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: Vox Populi 类型: facebook/voxpopuli 配置: en 分割: test 参数: 语言: en 指标:
    • 名称: 测试WER 类型: wer 值: 7
  • 任务: 类型: 自动语音识别 名称: automatic-speech-recognition 数据集: 名称: Mozilla Common Voice 9.0 类型: mozilla-foundation/common_voice_9_0 配置: en 分割: test 参数: 语言: en 指标:
    • 名称: 测试WER 类型: wer 值: 10.57 指标:
• wer 管道标签: automatic-speech-recognition

Parakeet CTC 0.6B（英文版）

| |

parakeet-ctc-0.6b是一个自动语音识别（ASR）模型，能将语音转录为小写英文字母。该模型由NVIDIA NeMo和Suno.ai团队联合开发。 它是FastConformer CTC [1]模型的XL版本（约6亿参数）。完整架构细节请参见模型架构部分和NeMo文档。

NVIDIA NeMo：训练

要训练、微调或使用该模型，您需要安装NVIDIA NeMo。建议在安装最新版PyTorch后安装NeMo。

pip install nemo_toolkit['all']

如何使用此模型

该模型可在NeMo工具包[3]中使用，可作为预训练检查点用于推理或对其他数据集进行微调。

自动实例化模型

import nemo.collections.asr as nemo_asr
asr_model = nemo_asr.models.EncDecCTCModelBPE.from_pretrained(model_name="nvidia/parakeet-ctc-0.6b")

使用Python进行转录

首先，获取一个样本

wget https://dldata-public.s3.us-east-2.amazonaws.com/2086-149220-0033.wav

然后简单执行：

asr_model.transcribe(['2086-149220-0033.wav'])

转录多个音频文件

python [NEMO_GIT_FOLDER]/examples/asr/transcribe_speech.py 
 pretrained_name="nvidia/parakeet-ctc-0.6b" 
 audio_dir="<包含音频文件的目录>"

输入

该模型接受16kHz单声道音频（wav文件）作为输入。

输出

该模型为给定音频样本提供转录后的文本字符串。

模型架构

FastConformer [1]是Conformer模型的优化版本，具有8倍深度可分离卷积下采样。该模型使用CTC损失进行训练。更多关于FastConformer的详细信息请参见：Fast-Conformer模型。

训练

NeMo工具包[3]用于训练这些模型数百个epoch。这些模型使用此示例脚本和此基础配置进行训练。

这些模型的分词器使用训练集的文本转录通过此脚本构建。

数据集

该模型在由NVIDIA NeMo和Suno团队收集和准备的64,000小时英语语音数据上进行训练。

训练数据集包括40,000小时的私有英语语音子集，以及来自以下公开数据集的24,000小时数据：

• Librispeech 960小时英语语音
• Fisher Corpus
• Switchboard-1数据集
• WSJ-0和WSJ-1
• 国家语音语料库（第一部分、第六部分）
• VCTK
• VoxPopuli（英文）
• Europarl-ASR（英文）
• 多语言Librispeech（MLS英文）- 2,000小时子集
• Mozilla Common Voice（v7.0）
• People's Speech - 12,000小时子集

性能

自动语音识别模型的性能通过词错误率（WER）衡量。由于该模型在多个领域和更大的语料库上训练，其转录一般音频的性能通常更好。

下表总结了该集合中可用模型使用CTC解码器的性能。ASR模型的性能以贪婪解码的词错误率（WER%）报告。

这些是无外部语言模型的贪婪WER数值。更多评估细节请参见HuggingFace ASR排行榜

NVIDIA Riva：部署

NVIDIA Riva是一个加速的语音AI SDK，可部署在本地、所有云、多云、混合云、边缘和嵌入式设备上。 此外，Riva提供：

• 世界级的开箱即用准确性，针对最常见语言的模型检查点，使用数百上千GPU计算小时的专有数据训练
• 最佳准确性，支持运行时词增强（如品牌和产品名称）以及声学模型、语言模型和逆文本归一化的定制
• 流式语音识别、Kubernetes兼容的扩展和企业级支持

尽管此模型尚未被Riva支持，但支持的模型列表在此。
查看Riva实时演示。

参考文献

[1] Fast Conformer with Linearly Scalable Attention for Efficient Speech Recognition

[2] Google Sentencepiece Tokenizer

[3] NVIDIA NeMo Toolkit

[4] Suno.ai

[5] HuggingFace ASR Leaderboard

许可证

使用此模型的许可证受CC-BY-4.0约束。通过下载该模型的公共和发布版本，您接受CC-BY-4.0许可证的条款和条件。