语言: 越南语
数据集:

• vlsp-asr-2020
  标签:
• 音频
• 自动语音识别
  许可协议: cc-by-nc-4.0

模型描述

我们的模型采用wav2vec2架构，基于13,000小时的越南语YouTube音频（未标注数据）进行预训练，并在VLSP ASR数据集的250小时标注数据（16kHz采样语音音频）上进行微调。更多描述请参见此处。

VLSP T1测试集上的基准WER结果：

使用方法

#pytorch  
#!pip install transformers==4.20.0  
#!pip install https://github.com/kpu/kenlm/archive/master.zip  
#!pip install pyctcdecode==0.4.0  
#!pip install huggingface_hub==0.10.0  

from transformers.file_utils import cached_path, hf_bucket_url  
from importlib.machinery import SourceFileLoader  
from transformers import Wav2Vec2ProcessorWithLM  
from IPython.lib.display import Audio  
import torchaudio  
import torch  

# 加载模型和处理器  
model_name = "nguyenvulebinh/wav2vec2-base-vi-vlsp2020"  
model = SourceFileLoader("model", cached_path(hf_bucket_url(model_name,filename="model_handling.py"))).load_module().Wav2Vec2ForCTC.from_pretrained(model_name)  
processor = Wav2Vec2ProcessorWithLM.from_pretrained(model_name)  

# 加载示例音频（16kHz）  
audio, sample_rate = torchaudio.load(cached_path(hf_bucket_url(model_name, filename="t2_0000006682.wav")))  
input_data = processor.feature_extractor(audio[0], sampling_rate=16000, return_tensors='pt')  

# 推理  
output = model(**input_data)  

# 无语言模型的输出转录  
print(processor.tokenizer.decode(output.logits.argmax(dim=-1)[0].detach().cpu().numpy()))  

# 带语言模型的输出转录  
print(processor.decode(output.logits.cpu().detach().numpy()[0], beam_width=100).text)  

模型参数许可

ASR模型参数仅限非商业用途，遵循知识共享署名-非商业性4.0国际许可协议（CC BY-NC 4.0）。详情请见：https://creativecommons.org/licenses/by-nc/4.0/legalcode

联系方式

nguyenvulebinh@gmail.com