语言: 中文 数据集:

• librispeech_asr 标签:
• 语音
• hf-asr排行榜

许可证: apache-2.0 示例:

• 示例标题: Librispeech样本1 来源: https://cdn-media.huggingface.co/speech_samples/sample1.flac
• 示例标题: Librispeech样本2 来源: https://cdn-media.huggingface.co/speech_samples/sample2.flac 模型索引:
• 名称: data2vec-audio-base-960h 结果:
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: LibriSpeech (clean) 类型: librispeech_asr 配置: clean 分割: test 参数: 语言: en 指标:
    • 名称: 测试WER 类型: wer 值: 2.77
  • 任务: 名称: 自动语音识别 类型: automatic-speech-recognition 数据集: 名称: LibriSpeech (other) 类型: librispeech_asr 配置: other 分割: test 参数: 语言: en 指标:
    • 名称: 测试WER 类型: wer 值: 7.08

Data2Vec-Audio-Base-960h

Facebook的Data2Vec

基础模型在16kHz采样的Librispeech 960小时语音数据上进行了预训练和微调。使用该模型时，请确保您的语音输入也以16kHz采样。

论文

作者: Alexei Baevski, Wei-Ning Hsu, Qiantong Xu, Arun Babu, Jiatao Gu, Michael Auli

摘要

尽管自监督学习的核心理念在不同模态间是相同的，但实际的算法和目标却因针对单一模态开发而差异巨大。为了更接近通用的自监督学习，我们提出了data2vec框架，该框架使用相同的学习方法处理语音、自然语言处理或计算机视觉。其核心思想是在自蒸馏设置中，基于输入数据的掩码视图，使用标准Transformer架构预测完整输入数据的潜在表示。不同于预测局部特性的模态特定目标（如单词、视觉标记或人类语音单元），data2vec预测的是包含整个输入信息的上下文潜在表示。在语音识别、图像分类和自然语言理解的主要基准测试中，实验结果表明其达到了新的最先进水平或与主流方法竞争的性能。

原始模型可在 https://github.com/pytorch/fairseq/tree/main/examples/data2vec 找到。

预训练方法

更多信息，请参阅官方论文。

使用方式

要将音频文件转录为文本，该模型可作为独立的声学模型使用，方法如下：

 from transformers import Wav2Vec2Processor, Data2VecForCTC
 from datasets import load_dataset
 import torch
 
 # 加载模型和处理器
 processor = Wav2Vec2Processor.from_pretrained("facebook/data2vec-audio-base-960h")
 model = Data2VecForCTC.from_pretrained("facebook/data2vec-audio-base-960h")
     
 # 加载虚拟数据集并读取音频文件
 ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
 
 # 标记化
 input_values = processor(ds[0]["audio"]["array"],, return_tensors="pt", padding="longest").input_values  # 批量大小为1
 
 # 获取逻辑值
 logits = model(input_values).logits
 
 # 取argmax并解码
 predicted_ids = torch.argmax(logits, dim=-1)
 transcription = processor.batch_decode(predicted_ids)

评估

以下代码片段展示了如何在LibriSpeech的“clean”和“other”测试数据上评估facebook/data2vec-audio-base-960h。

 from transformers import Wav2Vec2Processor, Data2VecForCTC
 from datasets import load_dataset
 import torch
 from jiwer import wer
 
 # 加载模型和处理器
 processor = Wav2Vec2Processor.from_pretrained("facebook/data2vec-audio-base-960h").to("cuda")
 model = Data2VecForCTC.from_pretrained("facebook/data2vec-audio-base-960h")
 

librispeech_eval = load_dataset("librispeech_asr", "clean", split="test")

def map_to_pred(batch):
    input_values = processor(batch["audio"]["array"], return_tensors="pt", padding="longest").input_values
    with torch.no_grad():
        logits = model(input_values.to("cuda")).logits

    predicted_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(predicted_ids)
    batch["transcription"] = transcription
    return batch

result = librispeech_eval.map(map_to_pred, batched=True, batch_size=1, remove_columns=["audio"])

print("WER:", wer(result["text"], result["transcription"]))

结果(WER):