基础模型: openai/whisper-large-v3-turbo
库名称: transformers
许可证: apache-2.0
任务标签: 自动语音识别
标签:

• 音频
• 自动语音识别
• whisper
• hf-asr-leaderboard

Lite-Whisper large-v3-turbo-acc 模型卡片

Lite-Whisper 是采用 LiteASR 技术压缩的 OpenAI Whisper 轻量版本。详见我们的 GitHub 仓库 和 论文。

基准测试结果

以下是在 ESB 数据集 上评估的平均词错误率 (WER)：

快速开始

使用 HuggingFace Transformers 库运行模型的最简方式如下。压缩版 OpenAI Whisper 系列模型权重可在 此处 获取。

import librosa  
import torch  
from transformers import AutoProcessor, AutoModel  

device = "cuda:0"  
dtype = torch.float16  

# 加载压缩版 Whisper 模型  
model = AutoModel.from_pretrained(  
    "efficient-speech/lite-whisper-large-v3-turbo",   
    trust_remote_code=True,   
)  
model.to(dtype).to(device)  

# 使用与原模型相同的处理器  
processor = AutoProcessor.from_pretrained("openai/whisper-large-v3")  

# 设置音频文件路径  
path = "path/to/audio.wav"  
audio, _ = librosa.load(path, sr=16000)  

input_features = processor(audio, sampling_rate=16000, return_tensors="pt").input_features  
input_features = input_features.to(dtype).to(device)  

predicted_ids = model.generate(input_features)  
transcription = processor.batch_decode(  
    predicted_ids,   
    skip_special_tokens=True  
)[0]  

print(transcription)  

引用

若在研究中使用了 LiteASR，请引用以下论文：

@misc{kamahori2025liteasrefficientautomaticspeech,  
      title={LiteASR: Efficient Automatic Speech Recognition with Low-Rank Approximation},   
      author={Keisuke Kamahori and Jungo Kasai and Noriyuki Kojima and Baris Kasikci},  
      year={2025},  
      eprint={2502.20583},  
      archivePrefix={arXiv},  
      primaryClass={cs.LG},  
      url={https://arxiv.org/abs/2502.20583},   
}