语言: pt 数据集:

• common_voice
• mls
• cetuc
• lapsbm
• voxforge
• tedx
• sid 指标:
• wer 标签:
• 音频
• 语音
• wav2vec2
• pt
• 葡萄牙语语音语料库
• 自动语音识别
• 语音
• PyTorch 许可证: apache-2.0

commonvoice10-xlsr: 基于Common Voice数据集的Wav2vec 2.0模型

这是使用Common Voice 7.0数据集针对巴西葡萄牙语微调的Wav2vec模型演示。

在本笔记本中，该模型将在其他可用的巴西葡萄牙语数据集上进行测试。

摘要

演示

模型名称 = "lgris/commonvoice10-xlsr" 

导入和依赖

%%capture
!pip install torch==1.8.2+cu111 torchvision==0.9.2+cu111 torchaudio===0.8.2 -f https://download.pytorch.org/whl/lts/1.8/torch_lts.html
!pip install datasets
!pip install jiwer
!pip install transformers
!pip install soundfile
!pip install pyctcdecode
!pip install https://github.com/kpu/kenlm/archive/master.zip

import jiwer
import torchaudio
from datasets import load_dataset, load_metric
from transformers import (
    Wav2Vec2ForCTC,
    Wav2Vec2Processor,
)
from pyctcdecode import build_ctcdecoder
import torch
import re
import sys

辅助函数

忽略字符正则表达式 = '[\,\?\.\!\;\:\"]'  # noqa: W605

def 映射到数组(批次):
    语音, _ = torchaudio.load(批次["路径"])
    批次["语音"] = 语音.squeeze(0).numpy() 
    批次["采样率"] = 16_000 
    批次["句子"] = re.sub(忽略字符正则表达式, '', 批次["句子"]).lower().replace("’", "'")
    批次["目标"] = 批次["句子"]
    return 批次

def 计算指标(真实值, 预测值):
    词错误率列表 = []
    匹配错误率列表 = []
    单词信息损失列表 = []
    for 真实, 预测 in zip(真实值, 预测值):
        try:
            词错误率列表.append(jiwer.wer(真实, 预测))
            匹配错误率列表.append(jiwer.mer(真实, 预测))
            单词信息损失列表.append(jiwer.wil(真实, 预测))
        except: # 空字符串？
            pass
    词错误率 = sum(词错误率列表)/len(词错误率列表)
    匹配错误率 = sum(匹配错误率列表)/len(匹配错误率列表)
    单词信息损失 = sum(单词信息损失列表)/len(单词信息损失列表)
    return 词错误率, 匹配错误率, 单词信息损失

def 加载数据(数据集):
    数据文件 = {'测试': f'{数据集}/测试.csv'}
    数据集 = load_dataset('csv', data_files=数据文件)["测试"]
    return 数据集.map(映射到数组)

模型

class 语音转文本:

    def __init__(self, 
                 模型名称, 
                 设备='cuda' if torch.cuda.is_available() else 'cpu', 
                 语言模型=None):
        self.模型名称 = 模型名称
        self.模型 = Wav2Vec2ForCTC.from_pretrained(模型名称).to(设备)
        self.处理器 = Wav2Vec2Processor.from_pretrained(模型名称)
        self.词汇表字典 = self.处理器.tokenizer.get_vocab()
        self.排序字典 = {
            k.lower(): v for k, v in sorted(self.词汇表字典.items(), 
                                            key=lambda item: item[1])
        }
        self.设备 = 设备
        self.语言模型 = 语言模型
        if self.语言模型:            
            self.语言模型解码器 = build_ctcdecoder(
                list(self.排序字典.keys()),
                self.语言模型
            )

    def 批量预测(self, 批次):
        特征 = self.处理器(批次["语音"], 
                                  采样率=批次["采样率"][0], 
                                  填充=True, 
                                  return_tensors="pt")
        输入值 = 特征.input_values.to(self.设备)
        注意力掩码 = 特征.attention_mask.to(self.设备)
        with torch.no_grad():
            逻辑值 = self.模型(输入值, attention_mask=注意力掩码).logits
        if self.语言模型:
            逻辑值 = 逻辑值.cpu().numpy()
            批次["预测"] = []
            for 样本逻辑值 in 逻辑值:
                批次["预测"].append(self.语言模型解码器.decode(样本逻辑值))
        else:
            预测ID = torch.argmax(逻辑值, dim=-1)
            批次["预测"] = self.处理器.batch_decode(预测ID)
        return 批次

下载数据集

%%capture
!gdown --id 1HFECzIizf-bmkQRLiQD0QVqcGtOG5upI
!mkdir bp_dataset
!unzip bp_dataset -d bp_dataset/

测试

语音转文本实例 = 语音转文本(模型名称)

CETUC

数据集 = 加载数据('cetuc_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("CETUC 词错误率:", 词错误率)

CETUC 词错误率: 0.13291846056190185

Common Voice

数据集 = 加载数据('commonvoice_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("CV 词错误率:", 词错误率)

CV 词错误率: 0.18909733896486755

LaPS

数据集 = 加载数据('lapsbm_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("Laps 词错误率:", 词错误率)

Laps 词错误率: 0.1655429292929293

MLS

数据集 = 加载数据('mls_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("MLS 词错误率:", 词错误率)

MLS 词错误率: 0.1894711228284466

SID

数据集 = 加载数据('sid_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("Sid 词错误率:", 词错误率)

Sid 词错误率: 0.2471983709551264

TEDx

数据集 = 加载数据('tedx_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("TEDx 词错误率:", 词错误率)

TEDx 词错误率: 0.4739658565194102

VoxForge

数据集 = 加载数据('voxforge_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("VoxForge 词错误率:", 词错误率)

VoxForge 词错误率: 0.2510294913419914

使用语言模型测试

# !find -type f -name "*.wav" -delete
!rm -rf ~/.cache
!gdown --id 1GJIKseP5ZkTbllQVgOL98R4yYAcIySFP  # 使用维基百科训练
语音转文本实例 = 语音转文本(模型名称, 语言模型='pt-BR-wiki.word.4-gram.arpa')
# !gdown --id 1dLFldy7eguPtyJj5OAlI4Emnx0BpFywg  # 使用bp训练
# 语音转文本实例 = 语音转文本(模型名称, 语言模型='pt-BR.word.4-gram.arpa')

CETUC

数据集 = 加载数据('cetuc_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("CETUC 词错误率:", 词错误率)

CETUC 词错误率: 0.060609303416680915

Common Voice

数据集 = 加载数据('commonvoice_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("CV 词错误率:", 词错误率)

CV 词错误率: 0.11758415681158373

LaPS

数据集 = 加载数据('lapsbm_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("Laps 词错误率:", 词错误率)

Laps 词错误率: 0.08815340909090909

MLS

数据集 = 加载数据('mls_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("MLS 词错误率:", 词错误率)

MLS 词错误率: 0.1359966791836458

SID

数据集 = 加载数据('sid_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("Sid 词错误率:", 词错误率)

Sid 词错误率: 0.1818429601530829

TEDx

数据集 = 加载数据('tedx_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("TEDx 词错误率:", 词错误率)

TEDx 词错误率: 0.39469326522731385

VoxForge

数据集 = 加载数据('voxforge_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("VoxForge 词错误率:", 词错误率)

VoxForge 词错误率: 0.22779897186147183