language:

• uz license: apache-2.0 tags:
• whisper
• 自动语音识别
• 音频转录
• 乌兹别克语
• 微调模型
• 语音识别

NavaiSTT-1v Medium - 乌兹别克语语音转文本模型

基于经典Whisper medium模型针对乌兹别克语进行微调。训练数据集包含约700小时多样化音频：公开播客、塔什干方言播客、有声书以及Common Voice 17语料。数据质量参差不齐，其中60%为人工转录，40%采用Gemini 2.5 Pro生成的伪转录。

特别关注了塔什干方言的音频材料，使模型在该方言上表现优异。后续版本将纳入更多地区方言以提升整体覆盖范围。

技术白皮书

有关本模型方法论及研究细节，请访问：https://uz-speech.web.app/navaistt01m

模型详情

• 基础模型: Whisper Medium
• 参数量: 7.69亿
• 性能指标:
  • 词错误率(WER): ~13%
  • 字错误率(CER): ~3.5%

训练数据

本模型使用约700小时多样化乌兹别克语音频数据进行微调，包括：

• 公开播客资源
• 塔什干方言播客
• 有声读物
• Common Voice 17数据集

数据集构成比例为60%人工转录与40%伪转录材料（使用Gemini 2.5 Pro生成）。特别强化了塔什干方言音频材料以确保该方言识别效果。

使用示例

import torch
import torchaudio
from transformers import WhisperProcessor, WhisperForConditionalGeneration

# 加载模型与处理器
processor = WhisperProcessor.from_pretrained("islomov/navaistt_v1_medium")
model = WhisperForConditionalGeneration.from_pretrained("islomov/navaistt_v1_medium")

def transcribe_audio(audio_path):

    global model, processor

    # 启用GPU加速（如可用）
    device = "cuda" if torch.cuda.is_available() else "cpu"
    model = model.to(device)

    # 加载并预处理音频
    waveform, sample_rate = torchaudio.load(audio_path)
    if sample_rate != 16000:
        waveform = torchaudio.functional.resample(waveform, sample_rate, 16000)

    # 转换为单声道（如需要）
    if waveform.shape[0] > 1:
        waveform = waveform.mean(dim=0, keepdim=True)

    # 处理音频特征
    input_features = processor(
        waveform.squeeze().numpy(),
        sampling_rate=16000,
        return_tensors="pt",
        language="uz"
    ).input_features.to(device)

    # 生成转录文本
    with torch.no_grad():
        predicted_ids = model.generate(input_features)

    # 解码输出
    transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)[0]
    return transcription

# 示例调用
if __name__ == "__main__":
    audio_file = "some_audio_max_30_sec.wav"

    text = transcribe_audio(audio_file)
    print(f"转录结果: {text}")

未来改进

后续版本将纳入更多乌兹别克语地区方言以提升模型覆盖广度。