language: zh datasets:

• librispeech_asr tags:
• 语音

license: apache-2.0

Data2Vec-Audio-Large（大型音频版）

Facebook的Data2Vec框架

该大模型基于16kHz采样的语音音频进行预训练。使用时请确保输入语音同样以16kHz采样。

注意：本模型未配备分词器，因其仅通过音频进行预训练。若用于语音识别任务，需创建分词器并在标注文本数据上微调模型。详见此博客获取微调模型的详细指南。

论文链接

作者：Alexei Baevski, Wei-Ning Hsu, Qiantong Xu, Arun Babu, Jiatao Gu, Michael Auli

摘要

尽管自监督学习的核心理念跨模态相通，但由于各算法最初仅针对单一模态设计，其具体实现与目标存在显著差异。为实现通用自监督学习，我们提出data2vec框架——通过标准Transformer架构，在自蒸馏设置下基于输入数据的掩码视图预测完整输入的潜在表征，从而统一适用于语音、NLP及计算机视觉领域。与预测局部性质的目标（如单词、视觉标记或语音单元）不同，data2vec预测的上下文潜在表征蕴含整个输入信息。在语音识别、图像分类和自然语言理解等核心基准测试中，该方法实现了最优性能或超越主流方案。

原始模型详见 https://github.com/pytorch/fairseq/tree/main/examples/data2vec 。

预训练方法

更多细节请参阅官方论文。

使用方式

参考此笔记本获取模型微调的具体操作指南。