🚀 中文（普通话）大模型Whisper

本模型是在中文（普通话）上对 openai/whisper-large-v2 进行微调后的版本，使用了 Common Voice 11 的训练集和验证集。训练过程中并未使用所有验证集数据，我从验证集中提取了 1000 个样本用于微调期间的评估。

🚀 快速开始

环境准备

确保你已经安装了 transformers 库。如果尚未安装，可以使用以下命令进行安装：

pip install transformers

代码示例

from transformers import pipeline

transcriber = pipeline(
  "automatic-speech-recognition", 
  model="jonatasgrosman/whisper-large-zh-cv11"
)

transcriber.model.config.forced_decoder_ids = (
  transcriber.tokenizer.get_decoder_prompt_ids(
    language="zh", 
    task="transcribe"
  )
)

transcription = transcriber("path/to/my_audio.wav")

💻 使用示例

基础用法

上述代码展示了如何使用该模型进行语音转录。你只需要将 path/to/my_audio.wav 替换为你实际的音频文件路径，即可完成语音转录。

📚 详细文档

评估

我使用了两个数据集的测试集对模型进行了评估，分别是 Common Voice 11（与微调时使用的数据集相同）和 Fleurs（微调期间未使用的数据集）。由于 Whisper 可以转录大小写和标点符号，我在两种不同的场景下进行了模型评估，一种使用原始文本，另一种使用归一化文本（小写 + 去除标点符号）。此外，对于 Fleurs 数据集，我还评估了在没有数值转录的场景下模型的表现，因为该数据集中数值的描述方式与微调时使用的数据集（Common Voice）不同，所以预计这种数值描述方式的差异会影响模型在 Fleurs 数据集上此类转录的性能。

Common Voice 11

Fleurs

📄 许可证

本项目采用 Apache-2.0 许可证。