语言:

• 日语 库名称: nemo 数据集:
• reazon-research/reazonspeech

缩略图: null 标签:

• 自动语音识别
• 语音
• 音频
• 转换器
• TDT
• CTC
• FastConformer
• Conformer
• pytorch
• NeMo 许可证: cc-by-4.0 模型索引:
• 名称: parakeet-tdt_ctc-0.6b-ja 结果:
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: JSUT basic5000 类型: japanese-asr/ja_asr.jsut_basic5000 分割: test 参数: 语言: ja 指标:
    • 名称: 测试CER 类型: cer 值: 6.4
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: Mozilla Common Voice 8.0 类型: mozilla-foundation/common_voice_8_0 配置: ja 分割: test 参数: 语言: ja 指标:
    • 名称: 测试CER 类型: cer 值: 7.1
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: Mozilla Common Voice 16.1 类型: mozilla-foundation/common_voice_16_1 配置: ja 分割: dev 参数: 语言: ja 指标:
    • 名称: 开发CER 类型: cer 值: 10.1
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: Mozilla Common Voice 16.1 类型: mozilla-foundation/common_voice_16_1 配置: ja 分割: test 参数: 语言: ja 指标:
    • 名称: 测试CER 类型: cer 值: 13.2
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: TEDxJP-10k 类型: laboroai/TEDxJP-10K 分割: test 参数: 语言: ja 指标:
    • 名称: 测试CER 类型: cer 值: 9.0

指标:

• cer 管道标签: automatic-speech-recognition

Parakeet TDT-CTC 0.6B (日语)

| |

parakeet-tdt_ctc-0.6b-ja 是一个能够转录带标点符号的日语语音的自动语音识别（ASR）模型。该模型由NVIDIA NeMo团队开发。 它是混合FastConformer [1] TDT-CTC [2]（约0.6B参数）模型的XL版本。
完整架构详情请参阅模型架构部分和NeMo文档。

NVIDIA NeMo: 训练

要训练、微调或使用该模型，您需要安装NVIDIA NeMo。建议在安装最新版PyTorch后安装。

pip install nemo_toolkit['asr']

如何使用此模型

该模型可在NeMo框架[3]中使用，可作为预训练检查点用于推理或对另一数据集进行微调。

自动实例化模型

import nemo.collections.asr as nemo_asr
asr_model = nemo_asr.models.ASRModel.from_pretrained(model_name="nvidia/parakeet-tdt_ctc-0.6b-ja")

使用Python转录

简单操作：

output = asr_model.transcribe(['speech.wav'])
print(output[0].text)

转录多个音频文件

默认情况下，模型使用TDT转录音频文件，要切换到使用CTC解码器，请使用decoding_type='ctc'

python [NEMO_GIT_FOLDER]/examples/asr/transcribe_speech.py 
 pretrained_name="nvidia/parakeet-tdt_ctc-0.6b-ja" 
 audio_dir="<包含音频文件的目录>"

输入

此模型接受16kHz单声道音频（wav文件）作为输入。

输出

此模型为给定音频样本提供转录后的语音字符串。

模型架构

此模型采用混合FastConformer-TDT-CTC架构。

FastConformer [1]是Conformer模型的优化版本，具有8倍深度可分离卷积下采样。更多关于FastConformer的详细信息可在此找到：Fast-Conformer模型。

TDT（Token-and-Duration Transducer）[2]通过解耦标记和持续时间预测，对传统转换器进行了泛化。与传统转换器在推理过程中产生大量空白不同，TDT模型可以通过使用持续时间输出（此parakeet-tdt_ctc-0.6b-ja模型最多4帧）跳过大部分空白预测，从而显著提高推理速度。TDT的详细信息可在此找到：通过联合预测标记和持续时间实现高效序列转换。

训练

使用此示例脚本和此基础配置，在NeMo框架[3]中训练了此模型。

模型在32个NVIDIA A100 80GB GPU上，使用动态分桶和每GPU 600秒的批次持续时间训练了300k步，然后在修改后的训练数据（CER>10%的训练样本的预测文本）上额外微调了100k步。

使用此脚本，基于训练集的文本转录构建了包含3072个标记的SentencePiece [4]分词器。

数据集

模型在包含超过35k小时自然日语语音的ReazonSpeech v2.0 [5]语音语料库上训练。

性能

下表总结了此模型在字符错误率（CER%）方面的性能。

在CER计算中，标点符号和非字母字符被移除，数字使用num2words库[6]转换为单词。

这些是无外部语言模型的贪婪CER数值。

NVIDIA Riva: 部署

NVIDIA Riva是一个加速的语音AI SDK，可部署在本地、所有云、多云、混合云、边缘和嵌入式设备上。 此外，Riva提供：

• 针对最常见语言的顶级开箱即用准确性，模型检查点基于专有数据训练，耗费数十万GPU计算小时
• 运行时词增强（如品牌和产品名称）以及声学模型、语言模型和反向文本归一化的定制，实现最佳准确性
• 流式语音识别、兼容Kubernetes的扩展和企业级支持

尽管此模型尚未由Riva支持，但支持的模型列表在此。
查看Riva实时演示。

参考文献

[1] 具有线性可扩展注意力的快速Conformer，用于高效语音识别

[2] 通过联合预测标记和持续时间实现高效序列转换

[3] NVIDIA NeMo框架

[4] Google SentencePiece分词器

[5] ReazonSpeech v2.0

[6] num2words库 - 将数字转换为多种语言的单词

许可证

使用此模型的许可证涵盖CC-BY-4.0。通过下载模型的公共和发布版本，您接受CC-BY-4.0许可证的条款和条件。