语言:

• 英语 标签:
• 音频
• 自动语音识别 许可证: mit 库名称: ctranslate2

Distil-Whisper: 适用于CTranslate2的Distil-Large-v3.5版本

本仓库包含转换为CTranslate2格式的distil-large-v3.5模型权重。CTranslate2是专为Transformer模型设计的高效推理引擎，同时也是Faster-Whisper项目的官方支持后端。

使用说明

要使用Faster-Whisper运行该模型，请先根据官方指南安装PyPi包。

以下示例中，我们将额外安装🤗 Datasets库以加载Hugging Face Hub上的示例音频数据集：

pip install --upgrade pip
pip install --upgrade git+https://github.com/SYSTRAN/faster-whisper datasets[audio]

以下代码片段加载distil-large-v3模型，并在LibriSpeech ASR数据集的示例文件上运行推理：

import torch
from faster_whisper import WhisperModel
from datasets import load_dataset

# 配置torch运行设备
device = "cuda" if torch.cuda.is_available() else "cpu"
compute_type = "float16" if torch.cuda.is_available() else "float32"

# 在GPU可用时加载模型到GPU，否则使用CPU
model = WhisperModel("distil-whisper/distil-large-v3.5-ct2", device=device, compute_type=compute_type)

# 加载示例数据集
dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
sample = dataset[1]["audio"]["path"]

segments, info = model.transcribe(sample, beam_size=5, language="en")

for segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

转录本地音频文件时，只需将音频路径作为audio参数传入：

segments, info = model.transcribe("audio.mp3", beam_size=5, language="en")

模型详情

关于Distil-Large-v3.5模型的更多信息，请参阅原始模型卡片。

许可证

Distil-Whisper继承自OpenAI Whisper模型的MIT许可证。

引用文献

若使用本模型，请引用Distil-Whisper论文：

@misc{gandhi2023distilwhisper,
      title={Distil-Whisper: Robust Knowledge Distillation via Large-Scale Pseudo Labelling}, 
      author={Sanchit Gandhi and Patrick von Platen and Alexander M. Rush},
      year={2023},
      eprint={2311.00430},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}