语言: 韩语
数据集:

• kresnik/zeroth_korean
  标签:
• 语音
• 音频
• 自动语音识别
  许可证: apache-2.0

模型索引:

• 名称: 'Wav2Vec2 XLSR 韩语模型'
  成果:
  • 任务:
    名称: 自动语音识别
    类型: automatic-speech-recognition
    数据集:
    名称: Zeroth 韩语数据集
    类型: kresnik/zeroth_korean
    参数: clean
    评估指标:
    • 名称: 测试WER（词错误率）
      类型: wer
      值: 4.74
    • 名称: 测试CER（字错误率）
      类型: cer
      值: 1.78

Zeroth-Korean ASR语料库评估

Google Colab笔记本(韩语版)

from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
from datasets import load_dataset
import soundfile as sf
import torch
from jiwer import wer

# 加载预训练处理器与模型
processor = Wav2Vec2Processor.from_pretrained("kresnik/wav2vec2-large-xlsr-korean")
model = Wav2Vec2ForCTC.from_pretrained("kresnik/wav2vec2-large-xlsr-korean").to('cuda')

# 加载数据集
ds = load_dataset("kresnik/zeroth_korean", "clean")
test_ds = ds['test']

# 音频文件转数组处理
def map_to_array(batch):
    speech, _ = sf.read(batch["file"])
    batch["speech"] = speech
    return batch

test_ds = test_ds.map(map_to_array)

# 预测转录文本
def map_to_pred(batch):
    inputs = processor(batch["speech"], sampling_rate=16000, return_tensors="pt", padding="longest")
    input_values = inputs.input_values.to("cuda")
    
    with torch.no_grad():
        logits = model(input_values).logits

    predicted_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(predicted_ids)
    batch["transcription"] = transcription
    return batch

# 执行评估
result = test_ds.map(map_to_pred, batched=True, batch_size=16, remove_columns=["speech"])
print("WER:", wer(result["text"], result["transcription"]))

预期WER（词错误率）: 4.74%

预期CER（字错误率）: 1.78%