语言: 英语
数据集:

• librispeech_asr
  标签:
• 语音
  许可证: apache-2.0

Hubert基础版

Facebook的Hubert

该基础模型在16kHz采样的语音音频上进行了预训练。使用该模型时，请确保您的语音输入同样以16kHz采样。

注意：此模型没有分词器，因为它仅基于音频进行预训练。若要将此模型用于语音识别，需创建一个分词器，并在标注的文本数据上对模型进行微调。详情请参阅这篇博客，了解如何微调模型的深入说明。

论文

作者: 徐伟宁、Benjamin Bolte、蔡耀鸿、Kushal Lakhotia、Ruslan Salakhutdinov、Abdelrahman Mohamed

摘要
语音表示学习的自监督方法面临三个独特问题：(1) 每个输入话语中包含多个声音单元，(2) 预训练阶段缺乏输入声音单元的词典，(3) 声音单元长度不一且无明确分段。为解决这三个问题，我们提出了隐藏单元BERT（HuBERT）方法用于自监督语音表示学习，该方法通过离线聚类步骤为类似BERT的预测损失提供对齐的目标标签。我们方法的关键在于仅对遮蔽区域应用预测损失，迫使模型在连续输入上学习结合声学和语言模型。HuBERT主要依赖于无监督聚类步骤的一致性，而非所分配聚类标签的内在质量。从简单的100簇k-means教师模型开始，经过两次聚类迭代后，HuBERT模型在Librispeech（960小时）和Libri-light（60,000小时）基准测试中，与最先进的wav2vec 2.0性能相当或更优，测试子集包括10分钟、1小时、10小时、100小时和960小时的微调数据。使用10亿参数模型时，HuBERT在更具挑战性的dev-other和test-other评估子集上分别实现了19%和13%的相对词错误率降低。

原始模型可在以下链接找到：https://github.com/pytorch/fairseq/tree/master/examples/hubert

使用指南

关于如何微调模型的更多信息，请参阅这篇博客。注意，需将类Wav2Vec2ForCTC替换为HubertForCTC。