库名称: transformers 语言:

• 越南语 许可证: mit 基础模型: openai/whisper-small 标签:
• 训练生成
• 语音转文字
• 音频转文本
• S2T
• STT

评估指标:

• 词错误率 模型索引:
• 名称: Whisper Small Vi - Nam Phung 结果: [] 管道标签: 自动语音识别

Whisper Small Vi V1.1：Nam Phung微调的越南语Whisper小型模型 🚀

📝 简介

这是基于openai/whisper-small模型针对越南语语音数据进行微调的版本。该模型旨在提升越南语自动语音识别(ASR)任务的转录准确性和鲁棒性，特别是在实际应用场景中。

📊 微调结果

• 词错误率(WER): 9.3485

评估在包含多种地域口音和说话风格的保留测试集上进行。

📝 模型描述

Whisper小型模型是基于transformer的小型序列到序列模型，专为自动语音识别和翻译任务设计。该模型已在超过68万小时的多语言标注音频数据上训练。此微调版本专注于越南语，旨在提升转录准确性和当地方言处理能力。

本模型需配合WhisperProcessor使用，将音频输入预处理为对数梅尔频谱图并解码为文本。

📁 数据集

• 总时长: 超过250小时高质量越南语语音数据
• 数据来源: 公开越南语数据集
• 格式: 16kHz WAV文件及对应文本转录
• 预处理: 音频经标准化和分段处理，文本转录经清洗和分词

🚀 使用指南

使用微调模型步骤如下：

1. 安装依赖环境:

   # 安装必要库
   !pip install transformers torch librosa soundfile --quiet
   
   # 导入库
   import torch
   import librosa
   import soundfile as sf
   from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline
   
   print("环境配置完成！")
   

2. 进行推理预测:

   import torch
   import librosa
   from transformers import AutoProcessor, AutoModelForSpeechSeq2Seq
   
   device = "cuda" if torch.cuda.is_available() else "cpu"
   print(f"使用设备: {device}")
   
   # 加载处理器和模型
   model_id = "namphungdn134/whisper-small-vi"
   print(f"正在加载模型: {model_id}")
   processor = AutoProcessor.from_pretrained(model_id)
   model = AutoModelForSpeechSeq2Seq.from_pretrained(model_id).to(device)
   
   # 配置语言和任务
   forced_decoder_ids = processor.get_decoder_prompt_ids(language="vi", task="transcribe")
   model.config.forced_decoder_ids = forced_decoder_ids
   print(f"越南语强制解码器ID: {forced_decoder_ids}")
   
   # 预处理
   audio_path = "example.wav"  
   print(f"加载音频文件: {audio_path}")
   audio, sr = librosa.load(audio_path, sr=16000)  
   input_features = processor(audio, sampling_rate=16000, return_tensors="pt").input_features.to(device)
   print(f"输入特征维度: {input_features.shape}")
   
   # 生成结果
   print("正在生成转录文本...")
   with torch.no_grad():
      predicted_ids = model.generate(input_features, forced_decoder_ids=forced_decoder_ids)
   
   transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)[0]
   print("📝 转录结果:", transcription)
   
   # 调试: 打印令牌检查
   print("预测ID序列:", predicted_ids[0].tolist())
   

⚠️ 局限性

• 本模型专为越南语优化，其他语言表现可能欠佳
• 对重叠语音或背景噪声处理能力有限
• 对训练数据中未充分体现的方言变体识别率可能下降

📄 许可证

本模型采用MIT许可证授权。

📚 引用规范

如在研究或应用中使用本模型，请引用原始Whisper模型及本微调工作：

@article{Whisper2021,
  title={Whisper: 多语言语音识别模型},
  author={OpenAI},
  year={2021},
  journal={arXiv:2202.12064},
  url={https://arxiv.org/abs/2202.12064}
}

@misc{title={Whisper小型越南语V1.1 - Nam Phung},
  author={Phùng Đức Nam},
  organization={DUT},
  year={2025},
  url={https://huggingface.co/namphungdn134/whisper-small-vi},
  url={https://github.com/namphung134/ASR-Vietnamese}
}

📬 联系方式

如有疑问、合作或建议，请联系[namphungdn134@gmail.com]。