许可协议: mit
语言:

• 德语
  评估指标:
• bleu
• wer
  基础模型:
• openai/whisper-large-v3-turbo
  任务标签: 自动语音识别
  库名称: transformers

已清理的仓库

模型已下架

由于部分数据集许可限制，该模型已被下架。

Whisper Large V3 Turbo（瑞士德语QLoRa微调版）

本仓库包含OpenAI Whisper Large V3 Turbo模型的微调版本，专为瑞士德语方言通过QLoRa优化适配。该模型在瑞士德语自动语音识别（ASR）任务中达到最先进性能。

模型概览

• 基础模型: Whisper Large V3 Turbo
• 微调方法: QLoRa（8-bit精度）
  • 秩: 200
  • Alpha值: 16
• 硬件: 2×NVIDIA A100 80GB GPU
• 训练时长: 140小时

性能指标

• 词错误率（WER）: 17.5%
• BLEU分数: 65.0

模型性能已在代表瑞士德语多种方言和人口分布的多个数据集上验证。

数据集概览

模型训练与评估使用的瑞士德语数据集包括：

1. SDS-200语料库

   • 规模: 200小时
   • 描述: 覆盖所有瑞士德语方言的语料库。

2. STT4SG-350

   • 规模: 343小时
   • 描述: 平衡覆盖瑞士德语方言和人口特征（含性别分布）。
   • 数据集链接

3. SwissDial-Zh v1.1

   • 规模: 24小时
   • 描述: 均衡呈现瑞士德语方言的数据集。
   • 数据集链接

4. 瑞士议会语料库V2（SPC）

   • 规模: 293小时
   • 描述: 跨瑞士德语方言的议会录音。
   • 数据集链接

5. ASGDTS（全瑞士德语方言测试集）

   • 规模: 13小时
   • 描述: 贴近真实方言分布的层次化数据集。
   • 数据集链接

跨数据集结果

WER分数

BLEU分数

可视化结果

跨数据集WER与BLEU分数

跨数据集WER分数

跨数据集BLEU分数

使用方式

可通过Hugging Face Transformers库直接调用本模型进行瑞士德语ASR任务。

致谢

特别感谢以下数据集创建与维护机构：

• 瑞士NLP
• 苏黎世联邦理工
• 瑞士西北应用科技大学

以及日内瓦大学提供的高性能计算集群支持。

引用

若在研究中使用本模型，请按以下格式引用：

@misc{whisper-large-v3-turbo-swissgerman,  
  author = {Nizar Michaud},  
  title = {Whisper Large V3 Turbo瑞士德语微调版},  
  year = {2024},  
  publisher = {Hugging Face},  
  url = {https://huggingface.co/nizarmichaud/whisper-large-v3-turbo-swissgerman},  
  doi = 10.57967/hf/3858,  
}