language: kr
datasets:

• aihub 自由对话语音（老年男女）
  tags:
• 自动语音识别
  license: apache-2.0

wav2vec2-xlsr-korean-senior

基于fleek/wav2vec-large-xlsr-korean模型，使用AIhub自由对话语音（老年男女）数据进行进一步微调。

• 训练数据总量：808,642条
• 验证数据总量：159,970条

使用此模型时，请确保语音输入采样率为16kHz。

训练脚本详见：https://github.com/hyyoka/wav2vec2-korean-senior

推理示例

import torchaudio  
from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC  
import re  

def clean_up(transcription):  
    hangul = re.compile('[^ ㄱ-ㅣ가-힣]+')  
    result = hangul.sub('', transcription)  
    return result  

model_name = "hyyoka/wav2vec2-xlsr-korean-senior"  
processor = Wav2Vec2Processor.from_pretrained(model_name)  
model = Wav2Vec2ForCTC.from_pretrained(model_name)  
speech_array, sampling_rate = torchaudio.load(wav_file)  
feat = processor(speech_array[0],   
                 sampling_rate=16000,   
                 padding=True,  
                 max_length=800000,   
                 truncation=True,  
                 return_attention_mask=True,  
                 return_tensors="pt",  
                 pad_token_id=49  
                )  
input = {'input_values': feat['input_values'], 'attention_mask': feat['attention_mask']}  

outputs = model(**input, output_attentions=True)  
logits = outputs.logits  
predicted_ids = logits.argmax(axis=-1)  
transcription = processor.decode(predicted_ids[0])  
stt_result = clean_up(transcription)