language:

• zh datasets: tags:
• 语音 inference: false

WavLM-Base-Plus

微软的WavLM

该基础模型基于16kHz采样的语音音频进行预训练。使用该模型时，请确保输入的语音数据也以16kHz采样。

注意：此模型没有分词器，因为它仅针对音频进行预训练。若要将该模型用于语音识别，需创建分词器并在带标签的文本数据上进行微调。详细说明请参阅这篇博客。

模型预训练数据包括：

• 6万小时Libri-Light
• 1万小时GigaSpeech
• 2.4万小时VoxPopuli

论文：WavLM：面向全栈语音处理的大规模自监督预训练

作者：陈三源、王成毅、陈正阳、吴宇、刘树杰、陈卓、李金玉、神田直之、吉冈拓也、肖雄、吴健、龙洲、任硕、钱彦敏、钱瑶、吴健、曾迈克尔、魏福如

摘要 自监督学习在语音识别领域取得巨大成功，但在其他语音处理任务中探索有限。由于语音信号包含说话人身份、副语言信息、语音内容等多维度信息，学习适用于所有语音任务的通用表示具有挑战性。本文提出新的预训练模型WavLM，用于解决全栈下游语音任务。WavLM基于HuBERT框架构建，重点优化语音内容建模和说话人身份保留。我们首先为Transformer结构配备门控相对位置偏置以提升识别任务能力。为增强说话人区分度，提出话语混合训练策略，在训练过程中无监督生成重叠话语。最后将训练数据规模从6万小时扩展到9.4万小时。WavLM Large在SUPERB基准测试中达到最先进水平，并在各类语音处理任务的代表性基准上带来显著提升。

原始模型参见：https://github.com/microsoft/unilm/tree/master/wavlm。

使用说明

这是一个英语预训练语音模型，需在下游任务（如语音识别或音频分类）上微调后才能用于推理。该模型基于英语预训练，因此仅适用于英语场景。模型在SUPERB基准测试中表现优异。

注意：模型是基于音素而非字符预训练的。这意味着在微调前需确保输入文本已转换为音素序列。

语音识别

微调模型进行语音识别，参见官方语音识别示例。

语音分类

微调模型进行语音分类，参见官方音频分类示例。

说话人验证

待补充

说话人日志

待补充

贡献者

模型由cywang和patrickvonplaten贡献。

许可证

官方许可证参见此处