🚀 韩文语音识别模型 wav2vec2-base-korean

本模型是基于 Facebook 的 wav2vec2-base 模型微调而来，专门针对韩语语音识别进行了优化。它使用了 Zeroth-Korean 数据集进行训练，能够将韩语语音准确地转录为文本，尤其适用于需要高精度韩语识别的各类应用场景。

🚀 快速开始

要开始使用这个模型，可以使用以下代码：

!pip install transformers[torch] accelerate -U
!pip install datasets torchaudio -U
!pip install jiwer jamo
!pip install tensorboard

import torch
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
import torchaudio
from jamo import h2j, j2hcj

model_name = "Kkonjeong/wav2vec2-base-korean"
model = Wav2Vec2ForCTC.from_pretrained(model_name)
processor = Wav2Vec2Processor.from_pretrained(model_name)

model.to("cuda")
model.eval()

def load_and_preprocess_audio(file_path):
    speech_array, sampling_rate = torchaudio.load(file_path)
    if sampling_rate != 16000:
        resampler = torchaudio.transforms.Resample(sampling_rate, 16000)
        speech_array = resampler(speech_array)
    input_values = processor(speech_array.squeeze().numpy(), sampling_rate=16000).input_values[0]
    return input_values

def predict(file_path):
    input_values = load_and_preprocess_audio(file_path)
    input_values = torch.tensor(input_values).unsqueeze(0).to("cuda")
    with torch.no_grad():
        logits = model(input_values).logits
    predicted_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(predicted_ids)[0]
    return transcription

audio_file_path = "your_audio_file.wav"
transcription = predict(audio_file_path)
print("Transcription:", transcription)

✨ 主要特性

• 该模型是 Facebook 的 wav2vec2-base 模型的微调版本，专为韩语语音识别而优化。
• 可直接用于韩语语音转文本，无需额外微调，适用于语音助手、转录服务和语言学习工具等应用。
• 能够集成到需要语音识别功能的大型系统中，如自动客服、语音控制应用等。

📦 安装指南

!pip install transformers[torch] accelerate -U
!pip install datasets torchaudio -U
!pip install jiwer jamo
!pip install tensorboard

📚 详细文档

模型详情

模型描述

此模型是 Facebook 的 wav2vec2-base 模型的微调版本，使用 Zeroth-Korean 数据集进行韩语语音识别。该模型经过训练，可将韩语语音转录为文本，特别利用了韩语独特的字母字符。

• 开发者： [jeonghyeon Park, Jaeyoung Kim]
• 模型类型： 语音转文本
• 语言： 韩语
• 许可证： Apache 2.0
• 微调基础模型： facebook/wav2vec2-base

模型来源

• 仓库： [github.com/KkonJJ/wav2vec2-base-korean]

使用方式

直接使用

该模型可直接用于将韩语语音转录为文本，无需额外微调。特别适用于需要准确韩语识别的应用，如语音助手、转录服务和语言学习工具。

下游应用

该模型可集成到需要语音识别功能的大型系统中，如自动客服、语音控制应用等。

不适用场景

该模型不适用于识别韩语以外的语言，或需要理解韩语口语转录之外的上下文的任务。

偏差、风险和局限性

建议

用户应了解模型的局限性，包括训练数据中可能存在的偏差，这可能会影响某些方言或说话者的识别准确性。建议在预期应用领域的代表性样本上评估模型的性能。

训练详情

训练数据

该模型使用 Zeroth-Korean 数据集进行训练，这是一个韩语语音数据集，包括音频记录及其对应的转录文本。

训练过程

• 预处理：从转录文本中去除特殊字符，并将文本转换为字母字符，以更好地与韩语的语音结构对齐。
• 训练超参数：
  • 训练机制： 混合精度 (fp16)
  • 批量大小： 32
  • 学习率： 1e-4
  • 训练轮数： 10

评估

测试数据、因素和指标

• 测试数据：使用 Zeroth-Korean 数据集的测试集对模型进行评估。
• 指标：主要评估指标是字符错误率 (CER)，它衡量转录文本中与参考文本相比错误字符的百分比。

结果

• 最终 CER： 0.073

总结

该模型在 Zeroth-Korean 数据集上的 CER 为 7.3%，表明其性能良好。

环境影响

可以使用 机器学习影响计算器 估算碳排放。

• 硬件类型： NVIDIA A100
• 使用时长： 约 8 小时

技术规格

模型架构和目标

模型架构基于 wav2vec2.0，旨在通过对语音的语音结构进行建模，将音频输入转换为文本输出。

计算基础设施

• 硬件：NVIDIA A100
• 软件：
  • 框架：PyTorch
  • 库：Transformers、Datasets、Torchaudio、Jiwer、Jamo

引用信息

BibTeX

@misc{your_bibtex_key,
  author = {Your Name},
  title = {wav2vec2-base-korean},
  year = {2024},
  publisher = {Hugging Face},
  note = {https://huggingface.co/Kkonjeong/wav2vec2-base-korean}
}

APA

Your Name. (2024). wav2vec2-base-korean. Hugging Face. https://huggingface.co/Kkonjeong/wav2vec2-base-korean

模型卡片作者

[jeonghyeon Park, Jaeyoung Kim]

模型卡片联系方式

如需更多信息，请联系 [shshjhjh4455@gmail.com, kbs00717@gmail.com]

🔧 技术细节

• 模型架构基于 wav2vec2.0，通过对语音的语音结构进行建模，将音频输入转换为文本输出。
• 训练时使用混合精度 (fp16) 以提高训练效率。
• 对转录文本进行预处理，去除特殊字符并转换为字母字符，以更好地与韩语的语音结构对齐。

📄 许可证

该模型使用 Apache 2.0 许可证。

📋 信息表格