许可证: mit
语言:

• 乌尔都语
  任务标签: 自动语音识别
  库名称: nemo

IndicConformer

IndicConformer 是一个基于混合 CTC-RNNT 架构的 Conformer 自动语音识别（ASR）模型。

语言

乌尔都语

输入

该模型接受 16 kHz 单声道音频（wav 文件）作为输入。

输出

该模型为给定的音频样本提供转录后的文本字符串。

模型架构

该模型采用 Conformer-Large 架构作为编码器，包含 1.2 亿参数，并配备混合 CTC-RNNT 解码器。模型包含 17 个 Conformer 模块，模型维度为 512。

AI4Bharat NeMo

如需加载、训练、微调或使用该模型，您需要安装 AI4Bharat NeMo。推荐通过以下命令安装：

git clone https://github.com/AI4Bharat/NeMo.git && cd NeMo && git checkout nemo-v2 && bash reinstall.sh

使用方式

从 Huggingface 下载并加载模型：

import torch  
import nemo.collections.asr as nemo_asr  

model = nemo_asr.models.ASRModel.from_pretrained("ai4bharat/indicconformer_stt_ur_hybrid_rnnt_large")  

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")  
model.freeze() # 推理模式  
model = model.to(device) # 将模型转移到设备  

通过终端运行以下命令准备音频文件（转换为 16 kHz 单声道）：

ffmpeg -i sample_audio.wav -ac 1 -ar 16000 sample_audio_infer_ready.wav  

使用 CTC 解码器推理

model.cur_decoder = "ctc"  
ctc_text = model.transcribe(['sample_audio_infer_ready.wav'], batch_size=1, logprobs=False, language_id='ur')[0]  
print(ctc_text)  

使用 RNNT 解码器推理

model.cur_decoder = "rnnt"  
rnnt_text = model.transcribe(['sample_audio_infer_ready.wav'], batch_size=1, language_id='ur')[0]  
print(rnnt_text)