模型详情

这是基于openai/whisper-large-v3微调的版本，专门优化了对俄语的支持。

微调使用的数据集是Common Voice 17.0的俄语部分，包含超过20万条样本。原始数据集经过预处理（混合所有子集并按0.95/0.05比例重新划分为训练集和测试集，分别对应225761条和11883条样本）后，原始Whisper v3模型的词错误率(WER)为9.84，而微调版本目前达到6.39。

微调过程在双Tesla A100 80GB显卡上耗时超过60小时完成。

使用方法

为处理电话录音，强烈建议在执行语音识别前对录音进行预处理和音量调整。例如：

sox record.wav -r 16k record-normalized.wav norm -0.5 compand 0.3,1 -90,-90,-70,-70,-60,-20,0,0 -5 0 0.2

语音识别代码参考如下：

import torch
from transformers import WhisperForConditionalGeneration, WhisperProcessor, pipeline

torch_dtype = torch.bfloat16 # 设置首选数据类型

device = 'cpu'
if torch.cuda.is_available():
    device = 'cuda'
elif torch.backends.mps.is_available():
    device = 'mps'
    setattr(torch.distributed, "is_initialized", lambda : False) # 临时补丁
device = torch.device(device)

whisper = WhisperForConditionalGeneration.from_pretrained(
    "antony66/whisper-large-v3-russian", torch_dtype=torch_dtype, low_cpu_mem_usage=True, use_safetensors=True,
    # 若GPU支持可添加attn_implementation="flash_attention_2"
)

processor = WhisperProcessor.from_pretrained("antony66/whisper-large-v3-russian")

asr_pipeline = pipeline(
    "automatic-speech-recognition",
    model=whisper,
    tokenizer=processor.tokenizer,
    feature_extractor=processor.feature_extractor,
    max_new_tokens=256,
    chunk_length_s=30,
    batch_size=16,
    return_timestamps=True,
    torch_dtype=torch_dtype,
    device=device,
)

# 读取wav文件到变量wav中。例如：
from io import BufferIO
wav = BytesIO()
with open('record-normalized.wav', 'rb') as f:
    wav.write(f.read())
wav.seek(0)

# 获取转写结果
asr = asr_pipeline(wav, generate_kwargs={"language": "russian", "max_new_tokens": 256}, return_timestamps=False)

print(asr['text'])

开发进展

本模型目前处于开发阶段，目标是针对电话通话场景进行深度优化。如果您有优质数据集资源或愿意参与贡献，请联系我们，您的帮助将极大推动项目发展。