Distil-Whisper是OpenAI Whisper-Large-v3的知识蒸馏版本，通过大规模伪标签训练实现高效语音识别。

该模型整合了旋转位置嵌入技术，基于16kHz采样的语音音频，在960小时的LibriSpeech数据上进行了预训练和精细调优，适用于英语语音识别任务。

Distil-wav2vec2是wav2vec2模型的蒸馏版本，体积缩小45%，推理速度提升两倍，适用于自动语音识别任务。