language: pt datasets:

• common_voice
• mls
• cetuc
• lapsbm
• voxforge
• tedx
• sid metrics:
• wer tags:
• audio
• speech
• wav2vec2
• pt
• portuguese-speech-corpus
• automatic-speech-recognition
• speech
• PyTorch license: apache-2.0

bp500-base100k_voxpopuli: 基于巴西葡萄牙语(BP)数据集的Wav2vec 2.0模型

这是针对巴西葡萄牙语微调的Wav2vec模型演示，使用了以下数据集：

• CETUC: 包含约145小时巴西葡萄牙语语音，由50名男性和50名女性发音人录制，每人朗读约1,000条从CETEN-Folha语料库选取的音素平衡句子。
• Common Voice 7.0: Mozilla基金会发起的开源语音数据集项目，志愿者通过官网贡献并验证语音样本。
• Lapsbm: 巴西Fala Brasil团队用于葡萄牙语ASR系统基准测试的数据集，含35名发音人(10名女性)，每人朗读20条独特句子，总计700条22.05kHz无环境控制的巴西葡萄牙语语音。
• Multilingual Librispeech (MLS): 多语言大规模数据集，基于LibriVox公有领域有声书。葡萄牙语子集(主要巴西变体)含约284小时语音，来自62名发音人录制的55本有声书。
• Multilingual TEDx: 8种语言的TEDx演讲音频集，葡萄牙语子集(主要巴西变体)含164小时转写语音。
• Sidney(SID): 包含72名发音人(20名女性)的5,777条录音，年龄17-59岁，附出生地、教育程度等元数据。
• VoxForge: 开源声学模型数据集，含约100名发音人和4,130条巴西葡萄牙语语音，采样率16kHz-44.1kHz不等。

这些数据集被合并构建更大的巴西葡萄牙语训练集。除Common Voice开发/测试集用于验证/测试外，其余数据均用于训练。我们还为所有数据集创建了测试集。

原始模型使用fairseq微调，本演示使用转换后的版本。原始模型下载链接见此。

性能摘要

转录示例

演示

MODEL_NAME = "lgris/bp500-base100k_voxpopuli" 

依赖安装

%%capture
!pip install torch==1.8.2+cu111 torchvision==0.9.2+cu111 torchaudio===0.8.2 -f https://download.pytorch.org/whl/lts/1.8/torch_lts.html
!pip install datasets
!pip install jiwer
!pip install transformers
!pip install soundfile
!pip install pyctcdecode
!pip install https://github.com/kpu/kenlm/archive/master.zip

核心代码

import jiwer
import torchaudio
from datasets import load_dataset, load_metric
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
from pyctcdecode import build_ctcdecoder
import torch
import re
import sys

# 数据预处理
chars_to_ignore_regex = '[\,\?\.\!\;\:\"]'  # 忽略特殊字符

def map_to_array(batch):
    speech, _ = torchaudio.load(batch["path"])
    batch["speech"] = speech.squeeze(0).numpy() 
    batch["sampling_rate"] = 16_000 
    batch["sentence"] = re.sub(chars_to_ignore_regex, '', batch["sentence"]).lower().replace("’", "'")
    batch["target"] = batch["sentence"]
    return batch

# 评估指标计算
def calc_metrics(truths, hypos):
    wers, mers, wils = [], [], []
    for t, h in zip(truths, hypos):
        try:
            wers.append(jiwer.wer(t, h))
            mers.append(jiwer.mer(t, h))
            wils.append(jiwer.wil(t, h))
        except:  # 处理空字符串
            pass
    return sum(wers)/len(wers), sum(mers)/len(mers), sum(wils)/len(wils)

# 语音识别类
class STT:
    def __init__(self, model_name, device='cuda' if torch.cuda.is_available() else 'cpu', lm=None):
        self.model = Wav2Vec2ForCTC.from_pretrained(model_name).to(device)
        self.processor = Wav2Vec2Processor.from_pretrained(model_name)
        self.device = device
        self.lm = lm
        if self.lm:            
            vocab_dict = self.processor.tokenizer.get_vocab()
            sorted_dict = {k.lower(): v for k, v in sorted(vocab_dict.items(), key=lambda item: item[1])}
            self.lm_decoder = build_ctcdecoder(list(sorted_dict.keys()), self.lm)

    def batch_predict(self, batch):
        features = self.processor(batch["speech"], sampling_rate=batch["sampling_rate"][0], 
                                padding=True, return_tensors="pt")
        input_values = features.input_values.to(self.device)
        with torch.no_grad():
            logits = self.model(input_values).logits
        if self.lm:
            batch["predicted"] = [self.lm_decoder.decode(sample) for sample in logits.cpu().numpy()]
        else:
            batch["predicted"] = self.processor.batch_decode(torch.argmax(logits, dim=-1))
        return batch

数据集测试结果

基础模型测试

• CETUC WER: 0.142
• Common Voice WER: 0.201
• LaPS WER: 0.052
• MLS WER: 0.224
• SID WER: 0.102
• TEDx WER: 0.317
• VoxForge WER: 0.048

语言模型增强测试

• CETUC WER: 0.100
• Common Voice WER: 0.149
• LaPS WER: 0.047
• MLS WER: 0.192
• SID WER: 0.115
• TEDx WER: 0.371
• VoxForge WER: 0.127

注：语言模型使用葡萄牙语维基百科文本训练获得。