语言:

• 泰卢固语 许可证: apache-2.0 标签:
• whisper-event 评估指标:
• 词错误率(WER) 模型索引:
• 名称: Whisper泰卢固语Large-v2 - Vasista Sai Lodagala 结果:
  • 任务: 类型: 自动语音识别 名称: 自动语音识别 数据集: 名称: google/fleurs 类型: google/fleurs 配置: te_in 分割: 测试集 评估指标:
    • 类型: 词错误率(WER) 值: 9.65 名称: WER

Whisper泰卢固语Large-v2

本模型是基于openai/whisper-large-v2在多个公开可用的泰卢固语ASR语料库上进行微调的版本。它是Whisper微调冲刺活动的一部分训练成果。

注意: 训练本模型的代码可在whisper-finetune仓库中复用。

使用说明

要评估本模型在整个数据集上的表现，可使用whisper-finetune仓库提供的评估代码。

该仓库还提供了使用whisper-jax进行快速推理的脚本。

要对单个音频文件进行推理，可使用以下代码片段：

>>> import torch
>>> from transformers import pipeline

>>> # 待转录音频文件路径
>>> audio = "/path/to/audio.format"
>>> device = "cuda:0" if torch.cuda.is_available() else "cpu"

>>> transcribe = pipeline(task="automatic-speech-recognition", model="vasista22/whisper-telugu-large-v2", chunk_length_s=30, device=device)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="te", task="transcribe")

>>> print('转录结果: ', transcribe(audio)["text"])

要加速Whisper模型的推理，可使用whisper-jax库。使用以下代码片段前，请按此处说明完成必要安装步骤：

>>> import jax.numpy as jnp
>>> from whisper_jax import FlaxWhisperForConditionalGeneration, FlaxWhisperPipline

>>> # 待转录音频文件路径
>>> audio = "/path/to/audio.format"

>>> transcribe = FlaxWhisperPipline("vasista22/whisper-telugu-large-v2", batch_size=16)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="te", task="transcribe")

>>> print('转录结果: ', transcribe(audio)["text"])

训练与评估数据

训练数据:

• CSTD IIIT-H ASR语料库
• ULCA ASR语料库
• Shrutilipi ASR语料库
• 微软语音语料库(印度语言)
• Google/Fleurs训练集+开发集
• Babel ASR语料库

评估数据:

• 微软语音语料库(印度语言)测试集
• Google/Fleurs测试集
• OpenSLR
• Babel测试集

训练超参数

训练过程中使用的超参数如下:

• 学习率: 0.75e-05
• 训练批次大小: 8
• 评估批次大小: 32
• 随机种子: 22
• 优化器: adamw_bnb_8bit
• 学习率调度器类型: 线性
• 学习率预热步数: 22000
• 训练步数: 75000
• 混合精度训练: 启用

致谢

本工作完成于印度理工学院马德拉斯分校语音实验室。

计算资源由印度电子信息技术部(MeitY)"Bhashini: 国家语言翻译任务"项目资助。