语言:

• 英文 库名称: nemo 数据集:
• librispeech_asr
• fisher_corpus
• mozilla-foundation/common_voice_8_0
• 新加坡国家语料库第一部分
• vctk
• voxpopuli
• 欧洲议会语料库
• 多语言Librispeech

缩略图: 无 标签:

• 自动语音识别
• 语音
• 音频
• 转换器
• TDT
• FastConformer
• Conformer
• pytorch
• NeMo
• hf-asr排行榜 许可证: cc-by-4.0 小部件:
• 示例标题: Librispeech样本1 来源: https://cdn-media.huggingface.co/speech_samples/sample1.flac
• 示例标题: Librispeech样本2 来源: https://cdn-media.huggingface.co/speech_samples/sample2.flac 模型索引:
• 名称: parakeet-tdt_ctc-1.1b 结果:
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: AMI(会议测试) 类型: edinburghcstr/ami 配置: ihm 分割: 测试 参数: 语言: 英文 指标:
    • 名称: 测试WER 类型: wer 值: 15.94
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: Earnings-22 类型: revdotcom/earnings22 分割: 测试 参数: 语言: 英文 指标:
    • 名称: 测试WER 类型: wer 值: 11.86
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: GigaSpeech 类型: speechcolab/gigaspeech 分割: 测试 参数: 语言: 英文 指标:
    • 名称: 测试WER 类型: wer 值: 10.19
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: LibriSpeech(清晰) 类型: librispeech_asr 配置: 其他 分割: 测试 参数: 语言: 英文 指标:
    • 名称: 测试WER 类型: wer 值: 1.82
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: LibriSpeech(其他) 类型: librispeech_asr 配置: 其他 分割: 测试 参数: 语言: 英文 指标:
    • 名称: 测试WER 类型: wer 值: 3.67
  • 任务: 类型: 自动语音识别 名称: automatic-speech-recognition 数据集: 名称: SPGI语音 类型: kensho/spgispeech 配置: 测试 分割: 测试 参数: 语言: 英文 指标:
    • 名称: 测试WER 类型: wer 值: 2.24
  • 任务: 类型: 自动语音识别 名称: automatic-speech-recognition 数据集: 名称: tedlium-v3 类型: LIUM/tedlium 配置: 发布1 分割: 测试 参数: 语言: 英文 指标:
    • 名称: 测试WER 类型: wer 值: 3.87
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: Vox Populi 类型: facebook/voxpopuli 配置: 英文 分割: 测试 参数: 语言: 英文 指标:
    • 名称: 测试WER 类型: wer 值: 6.19
  • 任务: 类型: 自动语音识别 名称: automatic-speech-recognition 数据集: 名称: Mozilla Common Voice 9.0 类型: mozilla-foundation/common_voice_9_0 配置: 英文 分割: 测试 参数: 语言: 英文 指标:
    • 名称: 测试WER 类型: wer 值: 8.69

指标:

• wer 管道标签: automatic-speech-recognition

Parakeet TDT-CTC 1.1B PnC(英文)

| |

parakeet-tdt_ctc-1.1b是一个能够转录带有标点符号和大小写的英文语音的ASR模型。该模型由NVIDIA NeMo和Suno.ai团队联合开发。 它是混合FastConformer [1] TDT-CTC [2]模型的XXL版本(约11亿参数)。该模型训练时采用了局部注意力和全局标记，因此能够单次处理11小时的音频。作为参考，该模型在A100上转录90分钟音频仅需<16秒。
完整架构细节请参见模型架构部分和NeMo文档。

NVIDIA NeMo: 训练

如需训练、微调或使用该模型，您需要安装NVIDIA NeMo。建议在安装最新版PyTorch后安装。

pip install nemo_toolkit['all']

如何使用该模型

该模型可在NeMo工具包[3]中使用，可作为预训练检查点用于推理或对其他数据集进行微调。

自动实例化模型

import nemo.collections.asr as nemo_asr
asr_model = nemo_asr.models.ASRModel.from_pretrained(model_name="nvidia/parakeet-tdt_ctc-1.1b")

使用Python转录

首先获取样本

wget https://dldata-public.s3.us-east-2.amazonaws.com/2086-149220-0033.wav

然后简单执行：

output = asr_model.transcribe(['2086-149220-0033.wav'])
print(output[0].text)

转录多个音频文件

默认模型使用TDT转录音频文件，如需切换解码器使用CTC，设置decoding_type='ctc'

python [NEMO_GIT_FOLDER]/examples/asr/transcribe_speech.py 
 pretrained_name="nvidia/parakeet-tdt_ctc-1.1b" 
 audio_dir="<包含音频文件的目录>"

输入

该模型接受16kHz单声道音频(wav文件)作为输入。

输出

该模型为给定音频样本提供转录文本字符串。

模型架构

该模型采用混合FastConformer-TDT-CTC架构。FastConformer[1]是Conformer模型的优化版本，具有8倍深度可分离卷积下采样。更多FastConformer细节请参见：Fast-Conformer模型。

训练

使用NeMo工具包[3]对parakeet-tdt-1.1模型进行了20,000步微调。该模型使用此示例脚本和此基础配置训练。

这些模型的分词器使用训练集文本转录本构建，脚本见此链接。

数据集

模型训练使用了NVIDIA NeMo和Suno团队收集准备的36K小时英文语音。

训练数据集包含27K小时私有英文语音子集，以及来自以下公开PnC数据集的9K小时：

• Librispeech 960小时英文语音
• Fisher语料库
• 国家语音语料库第一部分
• VCTK
• VoxPopuli(英文)
• Europarl-ASR(英文)
• 多语言Librispeech(MLS英文)-2000小时子集
• Mozilla Common Voice(v7.0)

性能

自动语音识别模型性能使用词错误率衡量。由于该模型在多个领域和更大规模语料库上训练，其通用音频转录表现通常更优。

下表总结了该系列可用模型使用转换器解码器的性能表现。ASR模型性能以贪婪解码的词错误率(WER%)报告。

以上为无外部语言模型的贪婪WER数值。更多评估细节见HuggingFace ASR排行榜

模型公平性评估

如论文"Towards Measuring Fairness in AI: the Casual Conversations Dataset"所述，我们对parakeet-tdt_ctc-1.1b模型进行了公平性评估。模型在CausalConversations-v1数据集上评估，结果如下：

性别偏见:

年龄偏见:

(公平性评估的错误率通过标准化参考文本和预测文本来确定，方法与https://github.com/huggingface/open_asr_leaderboard中的评估类似。)

NVIDIA Riva: 部署

NVIDIA Riva是一个可加速的语音AI SDK，可部署在本地、所有云环境、多云、混合云、边缘和嵌入式设备中。 此外，Riva提供：

• 世界级开箱即用精度，支持最常见语言，模型检查点基于专有数据训练，耗费数十万GPU计算小时
• 运行时词增强(如品牌和产品名称)的最佳精度，以及声学模型、语言模型和逆文本归一化的定制
• 流式语音识别、Kubernetes兼容扩展和企业级支持

虽然Riva尚未支持此模型，但支持的模型列表在此。
查看Riva实时演示。

参考文献

[1] Fast Conformer with Linearly Scalable Attention for Efficient Speech Recognition

[2] Efficient Sequence Transduction by Jointly Predicting Tokens and Durations

[3] Google Sentencepiece Tokenizer

[4] NVIDIA NeMo Toolkit

[5] Suno.ai

[6] HuggingFace ASR Leaderboard

[7] Towards Measuring Fairness in AI: the Casual Conversations Dataset

许可证

使用该模型的许可受CC-BY-4.0约束。下载模型的公开发布版本即表示您接受CC-BY-4.0许可的条款和条件。