语言: 荷兰语
数据集:

• 通用语音
  标签:
• 语音
• 音频
• 自动语音识别
  许可证: Apache-2.0

通用语音波兰语测试集评估

import torchaudio
from datasets import load_dataset, load_metric
from transformers import (
    Wav2Vec2ForCTC,
    Wav2Vec2Processor,
)
import torch
import re
import sys

模型名称 = "facebook/wav2vec2-large-xlsr-53-polish"
设备 = "cuda"
忽略字符正则 = '[\,\?\.\!\-\;\:\"]'  # noqa: W605

模型 = Wav2Vec2ForCTC.from_pretrained(模型名称).to(设备)
处理器 = Wav2Vec2Processor.from_pretrained(模型名称)

数据集 = load_dataset("common_voice", "pl", split="test", data_dir="./cv-corpus-6.1-2020-12-11")

重采样器 = torchaudio.transforms.Resample(原频率=48_000, 新频率=16_000)

def 映射到数组(批次):
    语音, _ = torchaudio.load(批次["路径"])
    批次["语音"] = 重采样器.forward(语音.squeeze(0)).numpy()
    批次["采样率"] = 重采样器.new_freq
    批次["文本"] = re.sub(忽略字符正则, '', 批次["文本"]).lower().replace("’", "'")
    return 批次

数据集 = 数据集.map(映射到数组)

def 映射到预测(批次):
    特征 = 处理器(批次["语音"], sampling_rate=批次["采样率"][0], padding=True, return_tensors="pt")
    输入值 = 特征.input_values.to(设备)
    注意力掩码 = 特征.attention_mask.to(设备)
    with torch.no_grad():
        逻辑值 = 模型(输入值, attention_mask=注意力掩码).logits
    预测id = torch.argmax(逻辑值, dim=-1)
    批次["预测结果"] = 处理器.batch_decode(预测id)
    批次["目标文本"] = 批次["文本"]
    return 批次

结果 = 数据集.map(映射到预测, batched=True, batch_size=16, remove_columns=list(数据集.features.keys()))

词错率 = load_metric("wer")
print(词错率.compute(predictions=结果["预测结果"], references=结果["目标文本"]))

评估结果: 24.6%