语言:

• 泰卢固语 许可证: apache-2.0 标签:
• whisper-event 评估指标:
• 词错误率(WER) 模型索引:
• 名称: Whisper泰卢固语中等模型 - Vasista Sai Lodagala 结果:
  • 任务: 类型: 自动语音识别 名称: 自动语音识别 数据集: 名称: google/fleurs 类型: google/fleurs 配置: te_in 拆分: 测试集 评估指标:
    • 类型: 词错误率(WER) 值: 9.47 名称: WER

Whisper泰卢固语中等模型

本模型是基于openai/whisper-medium对多个公开可用的泰卢固语ASR语料库数据进行微调的版本。该模型是Whisper微调冲刺活动的一部分。

注意: 训练本模型所使用的代码可在whisper-finetune仓库中复用。

使用方式

要评估本模型在整个数据集上的表现，可使用whisper-finetune仓库提供的评估代码。

该仓库还提供了使用whisper-jax进行快速推理的脚本。

要对单个音频文件进行推理，可使用以下代码片段:

>>> import torch
>>> from transformers import pipeline

>>> # 待转录音频文件路径
>>> audio = "/path/to/audio.format"
>>> device = "cuda:0" if torch.cuda.is_available() else "cpu"

>>> transcribe = pipeline(task="automatic-speech-recognition", model="vasista22/whisper-telugu-medium", chunk_length_s=30, device=device)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="te", task="transcribe")

>>> print('转录结果: ', transcribe(audio)["text"])

如需更快的Whisper模型推理，可使用whisper-jax库。使用以下代码片段前，请按此处说明完成必要安装步骤:

>>> import jax.numpy as jnp
>>> from whisper_jax import FlaxWhisperForConditionalGeneration, FlaxWhisperPipline

>>> # 待转录音频文件路径
>>> audio = "/path/to/audio.format"

>>> transcribe = FlaxWhisperPipline("vasista22/whisper-telugu-medium", batch_size=16)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="te", task="transcribe")

>>> print('转录结果: ', transcribe(audio)["text"])

训练与评估数据

训练数据:

• CSTD IIIT-H ASR语料库
• ULCA ASR语料库
• Shrutilipi ASR语料库
• 微软语音语料库(印度语言)
• Google/Fleurs训练集+开发集
• Babel ASR语料库

评估数据:

• 微软语音语料库(印度语言)测试集
• Google/Fleurs测试集
• OpenSLR
• Babel测试集

训练超参数

训练过程中使用的超参数如下:

• 学习率: 1e-05
• 训练批次大小: 24
• 评估批次大小: 48
• 随机种子: 22
• 优化器: adamw_bnb_8bit
• 学习率调度器类型: 线性
• 学习率预热步数: 15000
• 训练步数: 35808(收敛时终止。初始设置为89520步)
• 混合精度训练: 启用

致谢

本工作完成于印度理工学院马德拉斯分校语音实验室。

本工作的计算资源由印度电子信息技术部(MeitY)"Bhashini: 国家语言翻译任务"项目资助。