语言:

• 韩语 许可证: cc-by-4.0 库名称: nemo 数据集:
• Ksponspeech 缩略图: null 标签:
• 自动语音识别
• 语音
• 音频
• 传感器
• Conformer
• Transformer
• NeMo
• pytorch 模型索引:
• 名称: stt_kr_conformer_transducer_large 结果: []

模型概述

<简要描述模型及其用途>

NVIDIA NeMo: 训练

要训练、微调或使用该模型，您需要安装NVIDIA NeMo。建议在安装最新版本的Pytorch后再安装NeMo。

pip install nemo_toolkit['all']

如何使用该模型

该模型可在NeMo工具包[1]中使用，可作为预训练检查点用于推理或在其他数据集上进行微调。

自动实例化模型

import nemo.collections.asr as nemo_asr
asr_model = nemo_asr.models.ASRModel.from_pretrained("eesungkim/stt_kr_conformer_transducer_large")

使用Python进行转录

首先，获取一个示例音频文件

wget https://dldata-public.s3.us-east-2.amazonaws.com/sample-kor.wav

然后简单执行：

asr_model.transcribe(['sample-kor.wav'])

转录多个音频文件

python [NEMO_GIT_FOLDER]/examples/asr/transcribe_speech.py  pretrained_name="eesungkim/stt_kr_conformer_transducer_large"  audio_dir="<包含音频文件的目录>"

输入

该模型接受16KHz单声道音频（wav文件）作为输入。

输出

该模型为给定音频样本提供转录后的语音字符串。

模型架构

Conformer-Transducer模型是Conformer模型[2]的自回归变体，用于自动语音识别，采用Transducer损失/解码。更多关于该模型的详细信息可参考：Conformer-Transducer模型。

训练

该模型基于预训练的英语模型进行了多个周期的微调。

韩语语音识别有多种转录和子词建模方法。该模型使用基于Google Sentencepiece Tokenizer[3]的韩文字符的音标转录的句子片段子词。

数据集

该系列中的所有模型均在Ksponspeech数据集上训练，这是一个由2000名韩语母语者在受控安静环境下录制的开放领域对话语料库。标准分割数据集包括965小时的训练集、4小时的开发集、3小时的测试干净集和4小时的测试其他集。

性能

局限性

由于该模型是在公开可用的语音数据集上训练的，对于包含技术术语或模型未训练过的方言的语音，其性能可能会下降。对于带有口音的语音，模型的表现也可能较差。

该模型生成的是口语形式的标记序列。如果需要书面形式，可以考虑应用逆文本规范化。

参考文献

[1] NVIDIA NeMo工具包

[2] Conformer: 用于语音识别的卷积增强Transformer

[3] Google Sentencepiece分词器