语言:

• 英语 许可证: mit 库名称: transformers.js 标签:
• 音频 管道标签: 自动语音识别

Distil-Whisper: Distil-Large-v3.5

Distil-Whisper 是 OpenAI Whisper-Large-v3 的知识蒸馏版本，相关论文为《通过大规模伪标签实现稳健的知识蒸馏》。作为 Distil-Whisper 英语系列的最新成员，Distil-Large-v3.5 在保持前代高效性的同时，提供了更优的性能表现。

相比早期模型，Distil-Large-v3.5 的训练数据量增加了4倍以上（98,000小时），并采用"耐心"教师模型策略，通过延长训练周期和在蒸馏阶段应用强数据增强技术（SpecAugment）。这使得模型在鲁棒性和准确性上均超越前代 Distil-Whisper 模型，可直接作为替代方案使用。

为何在已有 Whisper-Large-v3-Turbo 的情况下选择 Distil-Large-v3.5？

1. 它在准确性与效率间实现了不同平衡：保持比 Whisper-Large-v3-Turbo 快约1.5倍的同时，短语音转录表现更优，长语音转录仅落后约1%。
2. 作为 Whisper-Large-v3 推测解码的草稿模型表现卓越。训练时固定编码器参数，仅需加载两个额外解码层且单次前向传播编码器，相比 Whisper-Large-v3 实现约2倍加速，同时保持输出完全一致。

本模型是Bofeng Huang、Eustache Le Bihan、Steven Zheng、Vaibhav Srivastav与Joshua Lochner共同协作的成果。

使用指南（Transformers.js）

若未安装，可通过NPM安装Transformers.js库：

npm i @huggingface/transformers

按以下方式执行语音转录：

import { pipeline } from '@huggingface/transformers';

const transcriber = await pipeline('automatic-speech-recognition', 'distil-whisper/distil-large-v3.5-ONNX');

const url = 'https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/jfk.wav';
const output = await transcriber(url);
// 输出: { text: "我的美国同胞们，不要问国家能为你们做些什么，而要问你们能为国家做些什么。" }