开源协议: MIT
支持语言:

• 泰卢固语
  任务类型: 自动语音识别
  模型库: nemo

IndicConformer模型

IndicConformer是一款基于混合CTC-RNNT架构的Conformer自动语音识别(ASR)模型。

支持语言

泰卢固语

输入格式

该模型接受16KHz单声道音频文件(wav格式)作为输入。

输出结果

对于给定的音频样本，模型将输出转录后的文本字符串。

模型架构

本模型采用Conformer-Large架构，包含1.2亿参数：

• 编码器由17个Conformer模块构成
• 模型维度为512
• 采用混合CTC-RNNT解码器

AI4Bharat NeMo工具包

如需加载、训练、微调或测试模型，请安装AI4Bharat NeMo。推荐使用以下命令安装：

git clone https://github.com/AI4Bharat/NeMo.git && cd NeMo && git checkout nemo-v2 && bash reinstall.sh

使用指南

从Huggingface下载并加载模型：

import torch
import nemo.collections.asr as nemo_asr

model = nemo_asr.models.ASRModel.from_pretrained("ai4bharat/indicconformer_stt_te_hybrid_rnnt_large")

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.freeze()  # 进入推理模式
model = model.to(device)  # 将模型转移到指定设备

使用以下命令预处理音频文件（转换为16KHz单声道）：

ffmpeg -i sample_audio.wav -ac 1 -ar 16000 sample_audio_infer_ready.wav

CTC解码器推理

model.cur_decoder = "ctc"
ctc_text = model.transcribe(['sample_audio_infer_ready.wav'], batch_size=1, logprobs=False, language_id='te')[0]
print(ctc_text)

RNNT解码器推理

model.cur_decoder = "rnnt"
rnnt_text = model.transcribe(['sample_audio_infer_ready.wav'], batch_size=1, language_id='te')[0]
print(rnnt_text)