语言: es 数据集:

• common_voice 指标:
• wer
• cer 标签:
• audio
• automatic-speech-recognition
• speech
• xlsr-fine-tuning-week 许可证: apache-2.0

Wav2Vec2-Large-XLSR-53-西班牙语-带语言模型

这是 Wav2Vec2-Large-XLSR-53-Spanish 的一个模型副本，增加了语言模型支持。

此模型卡片可作为 pyctcdecode 与 Transformers 集成的演示，由 此PR 主导。该PR详细解释了集成的工作原理。

简而言之：此PR新增了一个Wav2Vec2WithLMProcessor类，作为Wav2Vec2Processor的直接替代品。

现有ASR流程的唯一变化将是：

变更

import torch
from datasets import load_dataset
from transformers import AutoModelForCTC, AutoProcessor
import torchaudio.functional as F


model_id = "patrickvonplaten/wav2vec2-large-xlsr-53-spanish-with-lm"

sample = next(iter(load_dataset("common_voice", "es", split="test", streaming=True)))
resampled_audio = F.resample(torch.tensor(sample["audio"]["array"]), 48_000, 16_000).numpy()

model = AutoModelForCTC.from_pretrained(model_id)
processor = AutoProcessor.from_pretrained(model_id)

input_values = processor(resampled_audio, return_tensors="pt").input_values

with torch.no_grad():
    logits = model(input_values).logits

-预测ID = torch.argmax(logits, dim=-1)
-转录文本 = processor.batch_decode(预测ID)
+转录文本 = processor.batch_decode(logits.numpy()).text
# => 'bien y qué regalo vas a abrir primero'

改进

该模型在西班牙语Common Voice测试集的512个语音样本上进行了比较，并带来了显著的*20%*性能提升：

结果可通过从本模型仓库运行以下命令复现：

bash run_ngram_wav2vec2.py 1 512

bash run_ngram_wav2vec2.py 0 512

其中 run_ngram_wav2vec2.py 文件位于： https://huggingface.co/patrickvonplaten/wav2vec2-large-xlsr-53-spanish-with-lm/blob/main/run_ngram_wav2vec2.py