许可证：apache-2.0
基础模型：openai/whisper-small
标签：

• generated_from_trainer
  指标：
• 准确率
• F1值
  模型索引：
• 名称：whisper-small-uz-en-ru-lang-id
  结果：[]
  数据集：
• mozilla-foundation/common_voice_16_1
  语言：
• 乌兹别克语（uz）
• 英语（en）
• 俄语（ru）
  管道标签：音频分类

whisper-small-uz-en-ru-lang-id

该模型是基于openai/whisper-small在"mozilla-foundation/common_voice_16_1"（乌兹别克语/英语/俄语）数据集上微调的版本。
在训练过程中，验证集上的表现如下：

• 损失：0.2065
• 准确率：0.9747
• F1值：0.9746

测试（评估）数据集上的准确率：92.4%。

模型描述

需补充更多信息

预期用途与限制

需补充更多信息

训练与评估数据

# 从{乌兹别克语（uz）、英语（en）、俄语（ru）}集合中加载每种语言的数据集  
common_voice_train_uz = load_dataset("mozilla-foundation/common_voice_16_1", "uz", split='train', trust_remote_code=True, token=env('HUGGING_TOKEN'), streaming=True)  
common_voice_train_ru = load_dataset("mozilla-foundation/common_voice_16_1", "ru", split='train', trust_remote_code=True, token=env('HUGGING_TOKEN'), streaming=True)  
common_voice_train_en = load_dataset("mozilla-foundation/common_voice_16_1", "en", split='train', trust_remote_code=True, token=env('HUGGING_TOKEN'), streaming=True)  
common_voice_valid_uz = load_dataset("mozilla-foundation/common_voice_16_1", "uz", split='validation', trust_remote_code=True, token=env('HUGGING_TOKEN'), streaming=True)  
common_voice_valid_ru = load_dataset("mozilla-foundation/common_voice_16_1", "ru", split='validation', trust_remote_code=True, token=env('HUGGING_TOKEN'), streaming=True)  
common_voice_valid_en = load_dataset("mozilla-foundation/common_voice_16_1", "en", split='validation', trust_remote_code=True, token=env('HUGGING_TOKEN'), streaming=True)  

# 数据混洗与限制大小的代码。每集行数：训练集-24000，验证集-3000。  
...  
# 合并3个数据集  
common_voice['train'] = concatenate_datasets([common_voice_train_uz, common_voice_train_ru, common_voice_train_en])  

训练流程

使用了transformers库中的Trainer。
训练与评估过程详见Jupyter笔记本，存储于以下GitHub仓库：

https://github.com/fitlemon/whisper-small-uz-en-ru-lang-id

训练超参数

训练期间使用的超参数如下：

• 学习率：3e-05
• 训练批次大小：2
• 评估批次大小：2
• 随机种子：42
• 梯度累积步数：4
• 总训练批次大小：8
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器类型：线性
• 学习率预热比例：0.1
• 训练步数：9000
• 混合精度训练：原生AMP

训练结果

框架版本

• Transformers 4.38.2
• PyTorch 2.2.1+cu121
• Datasets 2.17.1
• Tokenizers 0.15.2