license: apache-2.0 datasets:

• ARTPARK-IISc/Vaani language:
• hi base_model:
• openai/whisper-small pipeline_tag: automatic-speech-recognition

Whisper-large-v3-vaani-hindi

这是基于OpenAI的Whisper-Large-V3模型进行微调的版本，训练数据包含约718小时的印地语转录语音，来自多个数据集。

使用方法

可通过Transformers模块中的pipeline函数使用该模型。

import torch
from transformers import pipeline

audio = "待转录音频文件的路径"
device = "cuda:0" if torch.cuda.is_available() else "cpu"
modelTags="ARTPARK-IISc/whisper-large-v3-vaani-hindi"
transcribe = pipeline(task="automatic-speech-recognition", model=modelTags, chunk_length_s=30, device=device)
transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="hi", task="transcribe")

print('转录结果: ', transcribe(audio)["text"])

训练与评估

模型微调使用了以下数据集：Vaani、Gramvaani、IndicVoices、Fleurs、IndicTTS以及Commonvoice。

模型在多个数据集上的评估结果如下：