语言: 英语
数据集:

• librispeech_asr

标签:

• 语音

许可证: apache-2.0

Data2Vec-Audio-Base-100h

Facebook的Data2Vec

该基础模型基于16kHz采样的Librispeech语音音频进行了100小时的预训练和微调。使用该模型时，请确保您的语音输入同样以16kHz采样。

论文

作者: Alexei Baevski, Wei-Ning Hsu, Qiantong Xu, Arun Babu, Jiatao Gu, Michael Auli

摘要

尽管自监督学习的核心理念在不同模态间是相同的，但由于算法和目标最初仅针对单一模态设计，实际应用差异显著。为实现更通用的自监督学习，我们提出了data2vec框架，该框架采用相同的学习方法处理语音、自然语言处理或计算机视觉任务。其核心思想是在自蒸馏设置中，基于输入数据的掩码视图，利用标准Transformer架构预测完整输入数据的潜在表示。不同于预测局部性质的目标（如单词、视觉标记或语音单元），data2vec预测的是包含整个输入信息的上下文潜在表示。在语音识别、图像分类和自然语言理解等主要基准测试中，实验结果表明其性能达到了新的最优水平或与主流方法相当。

原始模型可在以下链接找到：https://github.com/pytorch/fairseq/tree/main/examples/data2vec

预训练方法

更多信息请参阅官方论文。

使用方式

该模型可作为独立声学模型转录音频文件，示例如下：

from transformers import Wav2Vec2Processor, Data2VecForCTC  
from datasets import load_dataset  
import torch  

# 加载模型和处理器  
processor = Wav2Vec2Processor.from_pretrained("facebook/data2vec-audio-base-100h")  
model = Data2VecForCTC.from_pretrained("facebook/data2vec-audio-base-100h")  

# 加载虚拟数据集并读取音频文件  
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")  

# 标记化  
input_values = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest").input_values  # 批大小为1  

# 获取逻辑值  
logits = model(input_values).logits  

# 取argmax并解码  
predicted_ids = torch.argmax(logits, dim=-1)  
transcription = processor.batch_decode(predicted_ids)