语言:

• 英文 数据集: 标签:
• 语音 推理: false

WavLM基础版

微软的WavLM

该基础模型基于16kHz采样的语音音频进行预训练。使用该模型时，请确保您的语音输入同样以16kHz采样。

注意：此模型没有分词器，因为它仅针对音频进行预训练。若要将此模型用于语音识别，需创建分词器并在标注文本数据上进行微调。查看此博客了解如何微调模型的详细说明。

该模型基于960小时的Librispeech数据预训练。

论文：WavLM：面向全栈语音处理的大规模自监督预训练

作者：陈三元、王成毅、陈正阳、吴宇、刘书杰、陈卓、李金玉、神田直之、吉冈拓也、肖雄、吴健、龙洲、任硕、钱彦敏、钱瑶、吴健、曾迈克尔、魏福如

摘要 自监督学习（SSL）在语音识别领域取得巨大成功，但在其他语音处理任务中的探索有限。由于语音信号包含说话人身份、副语言信息、口语内容等多方面信息，为所有语音任务学习通用表示具有挑战性。本文提出新的预训练模型WavLM，以解决全栈下游语音任务。WavLM基于HuBERT框架构建，重点兼顾口语内容建模和说话人身份保留。我们首先为Transformer结构配备门控相对位置偏置，以提升其在识别任务上的能力。为更好区分说话人，我们提出话语混合训练策略，在模型训练中无监督创建额外重叠话语并纳入训练。最后，我们将训练数据集从6万小时扩展到9.4万小时。WavLM大型版在SUPERB基准测试中实现最先进性能，并在各语音处理任务的代表性基准上带来显著提升。

原始模型可在https://github.com/microsoft/unilm/tree/master/wavlm找到。

使用方法

这是一个英文预训练语音模型，需在下游任务（如语音识别或音频分类）上微调后才能用于推理。该模型基于英文预训练，因此应仅在英文场景表现良好。模型在SUPERB基准测试中表现优异。

注意：该模型基于音素而非字符预训练。这意味着在微调前需确保输入文本已转换为音素序列。

语音识别

要微调模型用于语音识别，参见官方语音识别示例。

语音分类

要微调模型用于语音分类，参见官方音频分类示例。

说话人验证

待补充

说话人日志

待补充

贡献者

该模型由cywang和patrickvonplaten贡献。

许可证

官方许可证参见此处