language: zh datasets:

• libri-light tags:
• 语音 license: apache-2.0

Hubert超大型模型

Facebook的Hubert

该超大型模型基于16kHz采样的语音音频进行预训练。使用模型时请确保语音输入同样以16kHz采样。需注意，该模型需在下游任务（如自动语音识别、说话人识别、意图分类、情感识别等）上进行微调。

模型在Libri-Light数据集上完成预训练。

论文

作者：徐伟宁、Benjamin Bolte、蔡曜鸿、Kushal Lakhotia、Ruslan Salakhutdinov、Abdelrahman Mohamed

摘要 语音表征学习的自监督方法面临三个独特挑战：(1) 每个输入话语包含多个声音单元；(2) 预训练阶段缺乏输入声音单元的词典；(3) 声音单元长度可变且无显式分割。针对这些问题，我们提出Hidden-Unit BERT（HuBERT）自监督语音表征学习方法，通过离线聚类步骤为类BERT预测损失提供对齐目标标签。该方法的核心是对掩码区域单独施加预测损失，迫使模型在连续输入上学习声学与语言模型的联合表征。HuBERT的关键优势在于无监督聚类步骤的一致性，而非所分配聚类标签的固有质量。从100个簇的简单k-means初始教师出发，经过两轮聚类迭代后，HuBERT模型在Librispeech（960小时）和Libri-light（6万小时）基准测试中，使用10分钟、1小时、10小时、100小时和960小时微调子集时，均达到或超越wav2vec 2.0的最先进性能。采用10亿参数模型时，HuBERT在更具挑战性的dev-other和test-other评估子集上分别实现19%和13%的相对WER降低。

原始模型参见：https://github.com/pytorch/fairseq/tree/master/examples/hubert

使用指南

关于模型微调方法详见此博客。注意需将Wav2Vec2ForCTC类替换为HubertForCTC类。