DistilHuBERT 模型

由NTU语音处理与机器学习实验室开发的DistilHuBERT

该基础模型基于16kHz采样的语音音频进行预训练。使用时请确保您的语音输入同样采用16kHz采样率。

注意：本模型未配备分词器，因其仅针对音频进行预训练。若要将该模型用于语音识别任务，需创建分词器并在标注文本数据上进行微调。详细微调方法请参阅这篇博客。

研究论文：DistilHuBERT：通过层级蒸馏隐单元BERT实现语音表征学习

作者：张恒睿、杨书文、李宏毅

摘要 自监督语音表征学习方法（如wav2vec 2.0和隐单元BERT/HuBERT）利用无标注语音数据进行预训练，为多种语音处理任务提供优质表征。尽管这些方法成效显著，但其庞大的内存需求和高昂的预训练成本，使得学术界和小型企业难以应用。为此，本文提出DistilHuBERT——一种直接从HuBERT模型蒸馏隐藏表征的新型多任务学习框架。该方法将HuBERT模型体积缩小75%，提速73%，同时在十项不同任务中保持绝大部分性能。此外，DistilHuBERT所需训练时间和数据量极少，为个人设备和终端设备的语音自监督学习模型预训练开辟了新可能。

原始模型参见：https://github.com/s3prl/s3prl/tree/master/s3prl/upstream/distiller

使用说明

关于模型微调的详细信息请参阅这篇博客。请注意需将类名Wav2Vec2ForCTC替换为HubertForCTC。