语言: 罗马尼亚语
标签:

• 音频
• 自动语音识别
• 大众之声
  许可证: 知识共享-署名-非商业性使用 4.0

Wav2Vec2基础版-大众之声微调模型

Facebook的Wav2Vec2基础模型，基于VoxPopuli语料库的1万条无标注子集进行预训练，并在罗马尼亚语（ro）的转录数据上微调（更多信息参见论文表1）。

论文: VoxPopuli：一个用于表征学习、半监督学习与解释的大规模多语言语音语料库

作者: Facebook AI团队的Changhan Wang、Morgane Riviere、Ann Lee、Anne Wu、Chaitanya Talnikar、Daniel Haziza、Mary Williamson、Juan Pino、Emmanuel Dupoux

更多信息请访问官方GitHub仓库。

推理使用示例

以下展示如何在Common Voice数据集样本上使用该模型进行推理：

#!/usr/bin/env python3  
from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC  
from datasets import load_dataset  
import torchaudio  
import torch  

# 音频重采样  

# 加载模型与处理器  
model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-base-10k-voxpopuli-ft-ro")  
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-base-10k-voxpopuli-ft-ro")  

# 加载数据集  
ds = load_dataset("common_voice", "ro", split="validation[:1%]")  

# Common Voice采样率与目标不一致  
common_voice_sample_rate = 48000  
target_sample_rate = 16000  

resampler = torchaudio.transforms.Resample(common_voice_sample_rate, target_sample_rate)  

# 定义函数：读取音频文件并重采样  
def map_to_array(batch):  
    speech, _ = torchaudio.load(batch["path"])  
    speech = resampler(speech)  
    batch["speech"] = speech[0]  
    return batch  

# 加载所有音频文件  
ds = ds.map(map_to_array)  

# 对前5条样本进行推理  
inputs = processor(ds[:5]["speech"], sampling_rate=target_sample_rate, return_tensors="pt", padding=True)  

# 推理过程  
logits = model(**inputs).logits  
predicted_ids = torch.argmax(logits, axis=-1)  

print(processor.batch_decode(predicted_ids))