language: zh datasets:

• librispeech_asr tags:
• 语音
• 音频
• 自动语音识别
• hf-asr-leaderboard license: apache-2.0 model-index:
• name: wav2vec2-large-100h-lv60 results:
  • task: name: 自动语音识别 type: automatic-speech-recognition dataset: name: Librispeech (clean) type: librispeech_asr args: en metrics:
    • name: 测试WER type: wer value: None

Wav2Vec2-Large-100h-Lv60 + 自训练

这是直接从fairseq迁移到huggingface的state_dict，权重完全一致

Facebook的Wav2Vec2

该大模型基于100小时的Libri-Light和Librispeech语音数据在16kHz采样率下进行预训练和微调。模型采用自训练目标训练。使用时请确保语音输入同样以16kHz采样。

论文

作者：Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, Michael Auli

摘要

我们首次证明，仅从语音音频中学习强大表征后通过转录语音微调，可以在概念更简单的同时超越最佳半监督方法。wav2vec 2.0在潜在空间中对语音输入进行掩码，并通过联合学习的潜在表征量化解决对比任务。使用Librispeech全部标注数据的实验在clean/other测试集上达到1.8/3.3 WER。当标注数据降至1小时，wav2vec 2.0在使用100倍少标注数据的情况下，仍优于100小时子集的先前最优结果。仅用10分钟标注数据和53k小时无监督数据预训练，仍可实现4.8/8.2 WER。这证明了有限标注数据下语音识别的可行性。

原始模型参见：https://github.com/pytorch/fairseq/tree/master/examples/wav2vec#wav2vec-20。

使用说明

作为独立声学模型转录音频文件的方法如下：

 from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
 from datasets import load_dataset
 import torch
 
 # 加载模型和处理器
 processor = Wav2Vec2Processor.from_pretrained("Splend1dchan/wav2vec2-large-100h-lv60-self")
 model = Wav2Vec2ForCTC.from_pretrained("Splend1dchan/wav2vec2-large-100h-lv60-self")
     
 # 加载虚拟数据集并读取音频文件
 ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
 
 # 标记化
 input_values = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest").input_values
 
 # 获取逻辑值
 logits = model(input_values).logits
 
 # 取argmax并解码
 predicted_ids = torch.argmax(logits, dim=-1)
 transcription = processor.batch_decode(predicted_ids)

评估

以下代码展示如何在LibriSpeech的"clean"和"other"测试数据上评估facebook的Splend1dchan/wav2vec2-large-100h-lv60-self模型。

from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
import torch
from jiwer import wer
librispeech_eval = load_dataset("librispeech_asr", "clean", split="test")
model = Wav2Vec2ForCTC.from_pretrained("Splend1dchan/wav2vec2-large-100h-lv60-self").to("cuda")
processor = Wav2Vec2Processor.from_pretrained("Splend1dchan/wav2vec2-large-100h-lv60-self")
def map_to_pred(batch):
    inputs = processor(batch["audio"]["array"], return_tensors="pt", padding="longest")
    input_values = inputs.input_values.to("cuda")
    attention_mask = inputs.attention_mask.to("cuda")
    
    with torch.no_grad():
        logits = model(input_values, attention_mask=attention_mask).logits
    predicted_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(predicted_ids)
    batch["transcription"] = transcription
    return batch
result = librispeech_eval.map(map_to_pred, remove_columns=["speech"])
print("WER:", wer(result["text"], result["transcription"]))