语言: 葡萄牙语
数据集:

• common_voice
• mls
• cetuc
• lapsbm
• voxforge
  评估指标:
• wer
  标签:
• 音频
• 语音
• wav2vec2
• pt
• 葡萄牙语语音语料库
• 自动语音识别
• 语音
• PyTorch
• hf-asr-leaderboard
  许可证: apache-2.0
  模型索引:
• 名称: Lucas Gris XLSR Wav2Vec2 Large 53 巴西葡萄牙语
  结果:
  • 任务:
    名称: 语音识别
    类型: 自动语音识别
    指标:
    • 名称: 测试 WER
      类型: wer
      值: 12.905054857823264%

使用开放巴西葡萄牙语数据集的 Wav2vec 2.0

这是一个针对巴西葡萄牙语微调的 Wav2vec 模型演示，使用了以下数据集：

• CETUC: 包含约 145 小时的巴西葡萄牙语语音，由 50 名男性和 50 名女性发音者录制，每人朗读约 1,000 个从 CETEN-Folha 语料库中选出的语音平衡句子。
• Multilingual Librispeech (MLS): 一个多语言的大规模数据集。MLS 基于公共领域的 LibriVox 有声书录音。该数据集包含总计 6,000 小时的多语言转录数据。本工作使用的葡萄牙语数据集（主要为巴西变体）链接在此，包含约 284 小时的语音，来自 62 名发音者朗读的 55 本有声书。
• VoxForge: 一个旨在构建开放声学模型数据集的项目。该语料库包含约 100 名发音者和 4,130 条巴西葡萄牙语语音，采样率从 16kHz 到 44.1kHz 不等。
• Common Voice 6.1（仅训练集）: 由 Mozilla 基金会提出的项目，旨在创建多种语言的开放数据集以训练 ASR 模型。志愿者通过官方网站捐赠和验证语音。本工作使用的葡萄牙语数据集（主要为巴西变体）为 6.1 版本（pt_63h_2020-12-11），包含约 50 小时的已验证语音和 1,120 名独特发音者。
• Lapsbm: “Falabrasil - UFPA” 是 Fala Brasil 小组用于基准测试巴西葡萄牙语 ASR 系统的数据集。包含 35 名发音者（10 名女性），每人朗读 20 个独特句子，总计 700 条巴西葡萄牙语语音。音频以 22.05 kHz 采样率录制，无环境控制。

这些数据集被合并以构建一个更大的巴西葡萄牙语数据集。除 Common Voice 的开发集和测试集分别用于验证和测试外，所有数据均用于训练。

原始模型使用 fairseq 进行微调。本笔记本使用的是原始模型的转换版本。原始 fairseq 模型的链接在此。

该模型训练了 80,000 次更新。

数据集的实例数量和帧数

下图展示了数据集的总体分布：

转录示例

导入和依赖

%%capture  
!pip install datasets  
!pip install jiwer  
!pip install torchaudio  
!pip install transformers  
!pip install soundfile  

import torchaudio  
from datasets import load_dataset, load_metric  
from transformers import (  
    Wav2Vec2ForCTC,  
    Wav2Vec2Processor,  
)  
import torch  
import re  
import sys  

准备

chars_to_ignore_regex = '[\,\?\.\!\;\:\"]'  # noqa: W605  
wer = load_metric("wer")  
device = "cuda"  

model_name = 'lgris/wav2vec2-large-xlsr-open-brazilian-portuguese'  
model = Wav2Vec2ForCTC.from_pretrained(model_name).to(device)  
processor = Wav2Vec2Processor.from_pretrained(model_name)  

def map_to_pred(batch):  
    features = processor(batch["speech"], sampling_rate=batch["sampling_rate"][0], padding=True, return_tensors="pt")  
    input_values = features.input_values.to(device)  
    attention_mask = features.attention_mask.to(device)  
    with torch.no_grad():  
        logits = model(input_values, attention_mask=attention_mask).logits  
    pred_ids = torch.argmax(logits, dim=-1)  
    batch["predicted"] = processor.batch_decode(pred_ids)  
    batch["predicted"] = [pred.lower() for pred in batch["predicted"]]  
    batch["target"] = batch["sentence"]  
    return batch  

测试

针对 Common Voice（域内）的测试

dataset = load_dataset("common_voice", "pt", split="test", data_dir="./cv-corpus-6.1-2020-12-11")  

resampler = torchaudio.transforms.Resample(orig_freq=48_000, new_freq=16_000)  

def map_to_array(batch):  
    speech, _ = torchaudio.load(batch["path"])  
    batch["speech"] = resampler.forward(speech.squeeze(0)).numpy()  
    batch["sampling_rate"] = resampler.new_freq  
    batch["sentence"] = re.sub(chars_to_ignore_regex, '', batch["sentence"]).lower().replace("’", "'")  
    return batch  

ds = dataset.map(map_to_array)  
result = ds.map(map_to_pred, batched=True, batch_size=1, remove_columns=list(ds.features.keys()))  
print(wer.compute(predictions=result["predicted"], references=result["target"]))  
for pred, target in zip(result["predicted"][:10], result["target"][:10]):  
    print(pred, "|", target)   

0.12905054857823264  
nem o varanin os altros influmindo os de teterno um bombederster | nem o radar nem os outros instrumentos detectaram o bombardeiro stealth  
pedir dinheiro é emprestado das pessoas do aldeia | pedir dinheiro emprestado às pessoas da aldeia  
oito | oito  
teno calcos | trancá-los  
realizaram a investigação para resolver o problema | realizar uma investigação para resolver o problema  
iotube ainda é a melhor plataforma de vídeos | o youtube ainda é a melhor plataforma de vídeos  
menina e menino beijando nas sombras | menina e menino beijando nas sombras  
eu sou o senhor | eu sou o senhor  
duas metcas sentam-se para baixo randes jornais | duas mulheres que sentam-se para baixo lendo jornais  
eu originalmente esperava | eu originalmente esperava  

结果: 12.90%

针对 TEDx（域外）的测试

!gdown --id 1HJEnvthaGYwcV_whHEywgH2daIN4bQna  
!tar -xf tedx.tar.gz  

dataset = load_dataset('csv', data_files={'test': 'tedx/test.csv'})['test']  

def map_to_array(batch):  
    speech, _ = torchaudio.load(batch["path"])  
    batch["speech"] = speech.squeeze(0).numpy()  
    batch["sampling_rate"] = resampler.new_freq  
    batch["sentence"] = re.sub(chars_to_ignore_regex, '', batch["sentence"]).lower().replace("’", "'")  
    return batch  

ds = dataset.map(map_to_array)  
result = ds.map(map_to_pred, batched=True, batch_size=1, remove_columns=list(ds.features.keys()))  
print(wer.compute(predictions=result["predicted"], references=result["target"]))  
for pred, target in zip(result["predicted"][:10], result["target"][:10]):  
    print(pred, "|", target)   

0.35215851987208774  
com isso a gente vê que essa rede de pactuação de de deparcerias nos remete a um raciocínio lógico que ao que a gente crê que é a prevenção | com isso a gente vê que essa rede de pactuação de parcerias nos remete a um raciocínio lógico que é o que a gente crê que é a prevenção  
ente vai para o resultado | e aí a gente vai pro resultado  
curiosidade hé o que eu descobri desde que comecei a fazer pesquisa lá no ensino médio | e a curiosidade é algo que descobri desde que comecei a fazer pesquisa lá no ensino médio  
val des quemesho | há vários caminhos  
que é uma opcissão por comer soldado | que é uma obsessão por comer saudável  
isso é tão é forte algoltão universal que existem dados que mostram que setenta e cinco por cento das reuniões são dominadas pela voz masculina | e isso é tão forte é algo tão universal que existem dados que mostram que  das reuniões são dominadas pela voz masculina  
não era exatamente isso não estávamos deveto | e não era exatamente isso que nós estávamos a ver  
durante meci do médio ofiz pesquisa estudei numa escola que chamam a fundação liberate ficava relativamente próximo daqui | durante o ensino médio eu fiz pesquisa estudei numa escola que se chama fundação liberato que fica relativamente próxima daqui  
oito anos atrás eu fui apresentado por uma doença que até então eu não conhecia e que é bem provável que a maior parte de nós todos aqui não conheçamos | oito anos atrás fui apresentado para uma doença que até então eu não conhecia e que é bem provável que a maior parte de nós todos aqui não conheçamos  
o terceiro é o museu do ripiopeco |