WavLM-大型模型

微软WavLM项目

该大型预训练模型基于16kHz采样的语音音频数据构建。使用时请确保输入语音同样采用16kHz采样率。

注意：本模型未配备分词器，因其仅针对音频数据进行预训练。若需用于语音识别任务，需自行创建分词器并使用标注文本数据进行微调。详细微调指南可参阅这篇技术博客。

预训练数据构成：

• Libri-Light 6万小时
• GigaSpeech 1万小时
• VoxPopuli 2.4万小时

研究论文：WavLM：面向全栈语音处理的大规模自监督预训练

作者团队：陈三垣、王成意、陈正阳等

摘要 自监督学习在语音识别领域成效显著，但在其他语音处理任务中探索有限。由于语音信号包含说话人身份、副语言信息、语音内容等多维度特征，学习通用表征具有挑战性。本文提出新型预训练模型WavLM，通过以下创新解决全栈语音任务：基于HuBERT框架，兼顾语音内容建模与说话人特征保持；采用门控相对位置偏置增强Transformer的识别能力；提出无监督语音混合训练策略提升说话人区分度；将训练数据规模从6万小时扩展至9.4万小时。WavLM大型模型在SUPERB基准测试中达到最优性能，并在多项语音处理任务中实现显著提升。

原始模型参见：https://github.com/microsoft/unilm/tree/master/wavlm

使用说明

本英语预训练语音模型需在下游任务（如语音识别或音频分类）上微调后才能用于推理。模型在英语数据上预训练，建议仅用于英语场景，在SUPERB基准测试中表现优异。

注意：模型基于音素而非字符进行预训练，微调前需将输入文本转换为音素序列。

语音识别

微调方法参考官方语音识别示例

音频分类

微调方法参考官方音频分类示例

说话人验证

（待完善）

说话人日志

（待完善）

贡献者

cywang 与 patrickvonplaten

许可协议

官方许可参见此处