语言:

• 葡萄牙语 许可证: apache-2.0 标签:
• whisper-event
• 训练生成 数据集:
• mozilla-foundation/common_voice_11_0 评估指标:
• 词错误率(WER)
• 字符错误率(CER) 模型索引:
• 名称: Whisper大葡萄牙语模型 结果:
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: mozilla-foundation/common_voice_11_0 pt 类型: mozilla-foundation/common_voice_11_0 配置: pt 拆分: test 参数: pt 评估指标:
    • 名称: WER 类型: wer 数值: 4.816664144852979
    • 名称: CER 类型: cer 数值: 1.6052355927195898
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: google/fleurs pt_br 类型: google/fleurs 配置: pt_br 拆分: test 参数: pt_br 评估指标:
    • 名称: WER 类型: wer 数值: 8.56762285333714
    • 名称: CER 类型: cer 数值: 5.462965196208485

Whisper大葡萄牙语模型

本模型是基于openai/whisper-large-v2在葡萄牙语上使用Common Voice 11的训练集和验证集进行微调的版本。训练过程中并未使用全部验证集数据，我从验证集中提取了1千个样本用于微调期间的评估。

使用方法

from transformers import pipeline

transcriber = pipeline(
  "automatic-speech-recognition", 
  model="jonatasgrosman/whisper-large-pt-cv11"
)

transcriber.model.config.forced_decoder_ids = (
  transcriber.tokenizer.get_decoder_prompt_ids(
    language="pt", 
    task="transcribe"
  )
)

transcription = transcriber("path/to/my_audio.wav")

评估

我使用两个数据集的测试集对模型进行了评估，分别是Common Voice 11（与微调所用数据集相同）和Fleurs（微调过程中未见过的数据集）。由于Whisper能够识别大小写和标点符号，我在两种不同场景下进行了模型评估：一种是使用原始文本，另一种是使用标准化文本（小写+去除标点符号）。此外，对于Fleurs数据集，我还评估了模型在不包含数值转录的情况下的表现，因为该数据集描述数值的方式与微调所用数据集（Common Voice）不同，预计这种差异会影响模型在Fleurs中对此类转录的表现。

Common Voice 11

Fleurs