library_name: transformers language:

• 匈牙利语 base_model: openai/whisper-base tags:
• 训练生成 datasets:
• fleurs metrics:
• 词错误率 model-index:
• name: Whisper Base匈牙利语v1版 results:
  • task: name: 自动语音识别 type: 自动语音识别 dataset: name: google/fleurs type: fleurs config: hu_hu split: 测试集 args: hu_hu metrics:
    • name: 词错误率 type: 词错误率 value: 29.48142356294297

我已移除所有初期尝试，这是当前可用工具和技术下能构建的最优匈牙利语微调版whisper基础模型。 在所有数据集上，其表现均显著优于其他匈牙利语微调的base模型！

Whisper Base匈牙利语版

本模型是基于openai/whisper-base在sarpba/big_audio_data_hun数据集上的微调版本。 测试结果： ("google/fleurs", "hu_hu", "test") (训练过程中)

• 损失值: 0.7999
• 正交词错误率: 33.8788
• 词错误率: 29.4814

("mozilla-foundation/common_voice_17_0", "hu", "测试集")

• 词错误率: 25.58
• 字符错误率: 6.34
• 标准化词错误率: 21.18
• 标准化字符错误率: 5.31

模型描述

基于定制数据集微调的匈牙利语whisper基础模型。

用途与限制

未经本人许可不得用于商业用途！个人使用可依据whisper原始许可条款自由使用！禁止将此微调模型用于商业用途！

训练与评估数据

模型基于约1200小时精心筛选的匈牙利语音频数据训练。训练期间使用google/fleurs监控进展，并测试了mozilla-foundation/common_voice_17_0的表现。所有测试数据集均未参与训练，模型未被测试数据污染。

训练流程

通过ray[tune]进行了3天的超参数优化搜索，最终微调耗时约17小时。

训练超参数

训练采用以下超参数：

• 学习率: 0.0003
• 训练批大小: 64
• 评估批大小: 32
• 随机种子: 42
• 梯度累积步数: 4
• 总训练批大小: 256
• 优化器: Adam (β1=0.9, β2=0.999, ε=1e-08)
• 学习率调度器类型: 线性
• 学习率预热比例: 0.05
• 训练步数: 8000
• 混合精度训练: 原生AMP

训练结果

框架版本

• Transformers 4.45.2
• Pytorch 2.3.0+cu121
• Datasets 3.0.1
• Tokenizers 0.20.1