语言:

• 泰语 许可证: apache-2.0 库名称: transformers 标签:
• whisper-event
• 训练生成 数据集:
• mozilla-foundation/common_voice_13_0
• google/fleurs 评估指标:
• 词错误率(wer) 基础模型: openai/whisper-large-v3 模型索引:
• 名称: Whisper Large V3 泰语混合版 V1 - biodatlab 结果:
  • 任务: 类型: 自动语音识别 名称: 自动语音识别 数据集: 名称: mozilla-foundation/common_voice_13_0 泰语 类型: mozilla-foundation/common_voice_13_0 配置: 泰语 拆分: 测试集 参数: 泰语 指标:
    • 类型: wer 值: 6.59 名称: 词错误率

Whisper Large V3 (泰语): 混合版 V1

本模型是在增强版的 mozilla-foundation/common_voice_13_0 泰语数据集、google/fleurs 数据集以及精选数据集上微调的 openai/whisper-medium 版本。 在 common-voice-13 测试集上取得了以下结果:

• 词错误率(WER): 6.59 (使用 Deepcut 分词器)

模型描述

使用 Hugging Face 的 transformers 库调用该模型如下:

from transformers import pipeline

MODEL_NAME = "biodatlab/whisper-th-large-v3-combined"  # 指定模型名称
lang = "th"  # 切换为泰语

device = 0 if torch.cuda.is_available() else "cpu"

pipe = pipeline(
    task="automatic-speech-recognition",
    model=MODEL_NAME,
    chunk_length_s=30,
    device=device,
)
pipe.model.config.forced_decoder_ids = pipe.tokenizer.get_decoder_prompt_ids(
  language=lang,
  task="transcribe"
)
text = pipe("audio.mp3")["text"] # 提供音频文件并转写文本

预期用途与限制

需要更多信息

训练与评估数据

需要更多信息

训练流程

训练超参数

训练过程中使用了以下超参数:

• 学习率: 1e-05
• 训练批次大小: 16
• 评估批次大小: 16
• 随机种子: 42
• 优化器: AdamW，参数 betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型: 线性
• 学习率预热步数: 500
• 训练步数: 10000
• 混合精度训练: 原生 AMP

框架版本

• Transformers 4.37.2
• Pytorch 2.1.0
• Datasets 2.16.1
• Tokenizers 0.15.1

引用

使用 Bibtex 格式引用:

@misc {thonburian_whisper_med,
    author       = { Atirut Boribalburephan, Zaw Htet Aung, Knot Pipatsrisawat, Titipat Achakulvisut },
    title        = { Thonburian Whisper: 一个针对泰语自动语音识别的微调 Whisper 模型 },
    year         = 2022,
    url          = { https://huggingface.co/biodatlab/whisper-th-medium-combined },
    doi          = { 10.57967/hf/0226 },
    publisher    = { Hugging Face }
}