🚀 WavLM-Base

WavLM-Base是基于16kHz采样语音音频预训练的基础模型。该模型可用于语音相关任务，使用时需确保输入语音也为16kHz采样。

🚀 快速开始

WavLM是由微软开发的语音预训练模型，基于16kHz采样的语音音频进行预训练。使用该模型时，请确保输入的语音数据同样为16kHz采样。

✨ 主要特性

• 预训练基础：在960小时的 Librispeech 数据集上进行预训练。
• 多任务潜力：旨在解决全栈下游语音任务，包括语音识别、语音分类等。
• 技术创新：基于HuBERT框架构建，采用门控相对位置偏置改进Transformer结构，提出话语混合训练策略提升说话人区分能力。

📚 详细文档

模型信息

• 模型链接：Microsoft's WavLM
• 论文链接：Paper: WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing
• 作者：Sanyuan Chen, Chengyi Wang, Zhengyang Chen, Yu Wu, Shujie Liu, Zhuo Chen, Jinyu Li, Naoyuki Kanda, Takuya Yoshioka, Xiong Xiao, Jian Wu, Long Zhou, Shuo Ren, Yanmin Qian, Yao Qian, Jian Wu, Michael Zeng, Furu Wei

论文摘要

自监督学习（SSL）在语音识别领域取得了巨大成功，但在其他语音处理任务上的探索有限。由于语音信号包含说话人身份、副语言信息、说话内容等多方面信息，为所有语音任务学习通用表示具有挑战性。在本文中，我们提出了一种新的预训练模型WavLM，用于解决全栈下游语音任务。WavLM基于HuBERT框架构建，强调说话内容建模和说话人身份保留。我们首先为Transformer结构配备门控相对位置偏置，以提高其在识别任务上的能力。为了更好地进行说话人区分，我们提出了一种话语混合训练策略，在模型训练期间无监督地创建额外的重叠话语并纳入其中。最后，我们将训练数据集从60k小时扩展到94k小时。WavLM Large在SUPERB基准测试中取得了最先进的性能，并在各种语音处理任务的代表性基准测试中带来了显著改进。

使用注意事项

⚠️ 重要提示

此模型没有分词器，因为它仅在音频上进行了预训练。要将此模型用于语音识别，需要创建一个分词器，并在带标签的文本数据上对模型进行微调。有关如何微调模型的详细解释，请查看 此博客。

⚠️ 重要提示

该模型是在音素而非字符上进行预训练的。这意味着在微调之前，应确保输入文本已转换为音素序列。

模型适用范围

这是一个英语预训练语音模型，需要在语音识别或音频分类等下游任务上进行微调后才能用于推理。该模型在英语上进行了预训练，因此仅在英语任务上表现良好。该模型在 SUPERB基准测试 中表现出色。

微调示例

语音识别

要对模型进行语音识别微调，请参阅 官方语音识别示例。

语音分类

要对模型进行语音分类微调，请参阅 官方音频分类示例。

说话人验证

TODO

说话人分割

TODO

📄 许可证

官方许可证可在 此处 找到。

贡献者

该模型由 cywang 和 patrickvonplaten 贡献。