🚀 Hubert-Large

Hubert-Large是一个在16kHz采样语音音频上预训练的大型模型。该模型能够助力语音相关的研究与应用，为语音识别等任务提供有力支持。

🚀 快速开始

本模型是在16kHz采样的语音音频上进行预训练的。在使用模型时，请确保您的语音输入也是以16kHz采样的。

⚠️ 重要提示

此模型没有分词器，因为它仅在音频上进行了预训练。若要将此模型用于语音识别，则需要创建一个分词器，并在带标签的文本数据上对模型进行微调。有关如何微调模型的详细解释，请查看此博客。

✨ 主要特性

• 基于Facebook的Hubert架构，在语音表示学习方面具有独特优势。
• 模型在Libri-Light数据集上进行预训练，具备良好的泛化能力。

📚 详细文档

论文信息

• 论文链接：Paper
• 作者：Wei-Ning Hsu, Benjamin Bolte, Yao-Hung Hubert Tsai, Kushal Lakhotia, Ruslan Salakhutdinov, Abdelrahman Mohamed

摘要

语音表示学习的自监督方法面临三个独特的问题：（1）每个输入话语中有多个声音单元；（2）在预训练阶段没有输入声音单元的词典；（3）声音单元的长度可变，且没有明确的分割。为了解决这三个问题，我们提出了用于自监督语音表示学习的Hidden-Unit BERT（HuBERT）方法，该方法利用离线聚类步骤为类似BERT的预测损失提供对齐的目标标签。我们方法的一个关键要素是仅在掩码区域上应用预测损失，这迫使模型在连续输入上学习组合的声学和语言模型。HuBERT主要依赖于无监督聚类步骤的一致性，而不是分配的聚类标签的内在质量。从一个简单的100个聚类的k-means教师开始，并使用两轮聚类，HuBERT模型在Librispeech（960h）和Libri-light（60,000h）基准测试的10分钟、1小时、10小时、100小时和960小时微调子集上，要么与最先进的wav2vec 2.0性能相匹配，要么有所提升。使用一个10亿参数的模型，HuBERT在更具挑战性的dev-other和test-other评估子集上显示出高达19%和13%的相对字错率（WER）降低。

模型原始代码

原始模型可在https://github.com/pytorch/fairseq/tree/master/examples/hubert 找到。

💻 使用示例

有关如何微调模型的更多信息，请参阅此博客。请注意，需要将类Wav2Vec2ForCTC替换为HubertForCTC。

📄 许可证

本模型使用的许可证为Apache-2.0。

📦 模型信息