语言:

• kk 标签:
• 音频
• 自动语音识别
• 哈萨克语ASR 小部件:
• 来源: https://drive.google.com/file/d/1udN8ybS7Ih3ESuoYZlaei4RcIPVbJlAf/view?usp=sharing 示例标题: 样本

模型索引:

• 名称: whisper-base.kk 结果:
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: 哈萨克语音语料库2 (KSC2) 类型: librispeech_asr 配置: clean 分割: test 参数: 语言: kk 指标:
    • 名称: 测试WER 类型: wer 值: 15.36 管道标签: automatic-speech-recognition 许可证: apache-2.0

Whisper

Whisper-base是针对低资源哈萨克语的自动语音识别(ASR)模型。该模型在哈萨克语音语料库2上进行了微调，包含超过1千小时的标注数据。模型在测试集上达到了15.36%的WER。

使用方法

此检查点是一个仅哈萨克语模型，意味着它只能用于哈萨克语语音识别。

转录

>>> from transformers import WhisperProcessor, WhisperForConditionalGeneration
>>> import librosa

>>> # 加载模型和处理器
>>> processor = WhisperProcessor.from_pretrained("akuzdeuov/whisper-base.kk")
>>> model = WhisperForConditionalGeneration.from_pretrained("akuzdeuov/whisper-base.kk")

>>> # 加载音频
>>> audio, sampling_rate = librosa.load("path_to_audio", sr=16000)
>>> input_features = processor(audio, sampling_rate=sampling_rate, return_tensors="pt").input_features 

>>> # 生成令牌ID
>>> predicted_ids = model.generate(input_features)
>>> # 解码令牌ID为文本
>>> transcription = processor.batch_decode(predicted_ids, skip_special_tokens=False)

>>> transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)

通过设置skip_special_tokens=True，可以从转录文本的开头移除上下文令牌。

长文本转录

Whisper模型本质上是为处理最长30秒的音频样本设计的。然而，通过使用分块算法，它可以用于转录任意长度的音频样本。这可以通过Transformers的pipeline方法实现。在实例化管道时，通过设置chunk_length_s=30来启用分块。启用分块后，管道可以进行批量推理。

>>> import torch
>>> from transformers import pipeline

>>> device = "cuda:0" if torch.cuda.is_available() else "cpu"

>>> pipe = pipeline(
>>>   "automatic-speech-recognition",
>>>   model="akuzdeuov/whisper-base.kk",
>>>   chunk_length_s=30,
>>>   device=device,
>>> )

>>> prediction = pipe("path_to_audio", batch_size=8)["text"]

参考文献

1. Whisper, OpenAI.