library_name: transformers language:

• si license: apache-2.0 base_model: openai/whisper-small tags:
• generated_from_trainer datasets:
• Lingalingeswaran/asr-sinhala-dataset_json_v1 model-index:
• name: Whisper Small sinhala - Lingalingeswaran results: [] pipeline_tag: automatic-speech-recognition

Whisper 小型僧伽罗语模型 - Lingalingeswaran

该模型是基于openai/whisper-small在Lingalingeswaran/asr-sinhala-dataset_json_v1数据集上微调的版本。

模型描述

此Whisper模型专门针对僧伽罗语进行了微调，使用了Common Voice 11.0数据集。它适用于语音转文字转录和语言识别等任务，适合以僧伽罗语为主要目标语言的应用场景。微调过程着重提升了僧伽罗语的处理性能，旨在降低转录错误率并提高整体准确度。

预期用途与限制

预期用途： 僧伽罗语语音转文字转录

限制： 对Common Voice数据集中未充分覆盖的语言或方言可能表现不佳 在嘈杂环境或训练数据未涵盖的重口音说话者场景下，词错误率(WER)可能较高 该模型针对僧伽罗语优化，其他语言的表现可能欠佳

训练与评估数据

训练数据包含来自Mozilla-foundation/Common Voice 11.0数据集的僧伽罗语语音录音。该数据集是通过众包方式收集的带转录语音，确保了说话者口音、年龄组和语音风格的多样性。

训练超参数

训练采用以下超参数：

• 学习率：1e-05
• 训练批次大小：16
• 评估批次大小：8
• 随机种子：42
• 优化器：使用OptimizerNames.ADAMW_TORCH，参数betas=(0.9,0.999)，epsilon=1e-08，无额外优化器参数
• 学习率调度器类型：线性
• 学习率预热步数：500
• 训练步数：4000
• 混合精度训练：原生AMP

框架版本

• Transformers 4.48.1
• Pytorch 2.5.1+cu121
• Datasets 3.2.0
• Tokenizers 0.21.0

使用示例

以下是使用Gradio进行僧伽罗语语音识别的示例：

import gradio as gr
from transformers import pipeline

# 使用指定模型初始化管道
pipe = pipeline(model="Lingalingeswaran/whisper-small-sinhala")

def transcribe(audio):
    # 将音频文件转录为文本
    text = pipe(audio)["text"]
    return text

# 创建Gradio界面
iface = gr.Interface(
    fn=transcribe,
    inputs=gr.Audio(sources=["microphone", "upload"], type="filepath"),
    outputs="text",
    title="Whisper小型僧伽罗语模型",
    description="使用微调Whisper small模型的僧伽罗语实时语音识别演示",
)

# 启动界面
if __name__ == "__main__":
    iface.launch()