语言: pt 数据集:

• 普通语音
• mls
• cetuc
• lapsbm
• voxforge
• tedx
• sid 指标:
• 词错误率(WER) 标签:
• 音频
• 语音
• wav2vec2
• pt
• 葡萄牙语语音语料库
• 自动语音识别
• 语音
• PyTorch 许可证: apache-2.0

sid10-xlsr: 基于Sidney数据集的Wav2vec 2.0模型

这是一个针对巴西葡萄牙语微调的Wav2vec模型演示，使用了Sidney数据集。

在本笔记本中，模型将针对其他可用的巴西葡萄牙语数据集进行测试。

结果摘要

演示

模型名称 = "lgris/sid10-xlsr" 

导入和依赖项

%%capture
!pip install torch==1.8.2+cu111 torchvision==0.9.2+cu111 torchaudio===0.8.2 -f https://download.pytorch.org/whl/lts/1.8/torch_lts.html
!pip install datasets
!pip install jiwer
!pip install transformers
!pip install soundfile
!pip install pyctcdecode
!pip install https://github.com/kpu/kenlm/archive/master.zip

import jiwer
import torchaudio
from datasets import load_dataset, load_metric
from transformers import (
    Wav2Vec2ForCTC,
    Wav2Vec2Processor,
)
from pyctcdecode import build_ctcdecoder
import torch
import re
import sys

辅助函数

忽略字符正则表达式 = '[\,\?\.\!\;\:\"]'  # noqa: W605

def 映射到数组(批次):
    语音, _ = torchaudio.load(批次["路径"])
    批次["语音"] = 语音.squeeze(0).numpy() 
    批次["采样率"] = 16_000 
    批次["句子"] = re.sub(忽略字符正则表达式, '', 批次["句子"]).lower().replace("’", "'")
    批次["目标"] = 批次["句子"]
    return 批次

def 计算指标(真实值, 预测值):
    词错误率列表 = []
    匹配错误率列表 = []
    单词信息损失列表 = []
    for 真实文本, 预测文本 in zip(真实值, 预测值):
        try:
            词错误率列表.append(jiwer.wer(真实文本, 预测文本))
            匹配错误率列表.append(jiwer.mer(真实文本, 预测文本))
            单词信息损失列表.append(jiwer.wil(真实文本, 预测文本))
        except: # 空字符串?
            pass
    平均词错误率 = sum(词错误率列表)/len(词错误率列表)
    平均匹配错误率 = sum(匹配错误率列表)/len(匹配错误率列表)
    平均单词信息损失 = sum(单词信息损失列表)/len(单词信息损失列表)
    return 平均词错误率, 平均匹配错误率, 平均单词信息损失

def 加载数据(数据集):
    数据文件 = {'测试集': f'{数据集}/test.csv'}
    数据集 = load_dataset('csv', data_files=数据文件)["测试集"]
    return 数据集.map(映射到数组)

模型

class 语音转文本:

    def __init__(self, 
                 模型名称, 
                 设备='cuda' if torch.cuda.is_available() else 'cpu', 
                 语言模型=None):
        self.模型名称 = 模型名称
        self.模型 = Wav2Vec2ForCTC.from_pretrained(模型名称).to(设备)
        self.处理器 = Wav2Vec2Processor.from_pretrained(模型名称)
        self.词汇表字典 = self.处理器.tokenizer.get_vocab()
        self.排序字典 = {
            k.lower(): v for k, v in sorted(self.词汇表字典.items(), 
                                            key=lambda 项: 项[1])
        }
        self.设备 = 设备
        self.语言模型 = 语言模型
        if self.语言模型:            
            self.语言模型解码器 = build_ctcdecoder(
                list(self.排序字典.keys()),
                self.语言模型
            )

    def 批量预测(self, 批次):
        特征 = self.处理器(批次["语音"], 
                                  采样率=批次["采样率"][0], 
                                  填充=True, 
                                  return_tensors="pt")
        输入值 = 特征.input_values.to(self.设备)
        注意力掩码 = 特征.attention_mask.to(self.设备)
        with torch.no_grad():
            逻辑输出 = self.模型(输入值, attention_mask=注意力掩码).logits
        if self.语言模型:
            逻辑输出 = 逻辑输出.cpu().numpy()
            批次["预测"] = []
            for 样本逻辑 in 逻辑输出:
                批次["预测"].append(self.语言模型解码器.decode(样本逻辑))
        else:
            预测id = torch.argmax(逻辑输出, dim=-1)
            批次["预测"] = self.处理器.batch_decode(预测id)
        return 批次

下载数据集

%%capture
!gdown --id 1HFECzIizf-bmkQRLiQD0QVqcGtOG5upI
!mkdir 巴西葡萄牙语数据集
!unzip 巴西葡萄牙语数据集 -d 巴西葡萄牙语数据集/

测试

语音转文本实例 = 语音转文本(模型名称)

CETUC

数据集 = 加载数据('cetuc_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("CETUC 词错误率:", 词错误率)

CETUC 词错误率: 0.18623689076557778

普通语音(Common Voice)

数据集 = 加载数据('commonvoice_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("普通语音 词错误率:", 词错误率)

普通语音 词错误率: 0.3279775395502392

LaPS

数据集 = 加载数据('lapsbm_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("LaPS 词错误率:", 词错误率)

LaPS 词错误率: 0.20780303030303032

MLS

数据集 = 加载数据('mls_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("MLS 词错误率:", 词错误率)

MLS 词错误率: 0.5056711598536057

SID

数据集 = 加载数据('sid_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("SID 词错误率:", 词错误率)

SID 词错误率: 0.1247776617710105

TEDx

数据集 = 加载数据('tedx_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("TEDx 词错误率:", 词错误率)

TEDx 词错误率: 0.8350609256842175

VoxForge

数据集 = 加载数据('voxforge_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("VoxForge 词错误率:", 词错误率)

VoxForge 词错误率: 0.47242153679653687

使用语言模型测试

# !find -type f -name "*.wav" -delete
!rm -rf ~/.cache
!gdown --id 1GJIKseP5ZkTbllQVgOL98R4yYAcIySFP  # 使用维基百科训练
语音转文本实例 = 语音转文本(模型名称, 语言模型='pt-BR-wiki.word.4-gram.arpa')
# !gdown --id 1dLFldy7eguPtyJj5OAlI4Emnx0BpFywg  # 使用巴西葡萄牙语训练
# 语音转文本实例 = 语音转文本(模型名称, 语言模型='pt-BR.word.4-gram.arpa')

CETUC

数据集 = 加载数据('cetuc_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("CETUC 词错误率:", 词错误率)

CETUC 词错误率: 0.09677271347353278

普通语音(Common Voice)

数据集 = 加载数据('commonvoice_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("普通语音 词错误率:", 词错误率)

普通语音 词错误率: 0.22363215674470321

LaPS

数据集 = 加载数据('lapsbm_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("LaPS 词错误率:", 词错误率)

LaPS 词错误率: 0.1154924242424242

MLS

数据集 = 加载数据('mls_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("MLS 词错误率:", 词错误率)

MLS 词错误率: 0.4322369152606427

SID

数据集 = 加载数据('sid_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("SID 词错误率:", 词错误率)

SID 词错误率: 0.10080313085145765

TEDx

数据集 = 加载数据('tedx_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("TEDx 词错误率:", 词错误率)

TEDx 词错误率: 0.7911789829264236

VoxForge

数据集 = 加载数据('voxforge_dataset')
结果 = 数据集.map(语音转文本实例.批量预测, batched=True, batch_size=8) 
词错误率, 匹配错误率, 单词信息损失 = 计算指标(结果["句子"], 结果["预测"])
print("VoxForge 词错误率:", 词错误率)

VoxForge 词错误率: 0.34786255411255407