🚀 Wav2vec2 Large 100k Voxpopuli 基于Common Voice和M - AILABS的俄语微调模型

本项目是将 Wav2vec2 Large 100k Voxpopuli 模型使用Common Voice 7.0和M - AILABS数据集进行俄语微调后的成果，可用于俄语的自动语音识别任务。

🚀 快速开始

安装依赖

本项目使用Python和相关的深度学习库，你可以通过以下方式安装所需的库：

pip install transformers torchaudio datasets jiwer

加载模型和分词器

from transformers import AutoTokenizer, Wav2Vec2ForCTC
  
tokenizer = AutoTokenizer.from_pretrained("Edresson/wav2vec2-large-100k-voxpopuli-ft-Common-Voice_plus_TTS-Dataset-russian")
model = Wav2Vec2ForCTC.from_pretrained("Edresson/wav2vec2-large-100k-voxpopuli-ft-Common-Voice_plus_TTS-Dataset-russian")

💻 使用示例

基础用法

以下代码展示了如何使用该模型进行语音识别：

from transformers import AutoTokenizer, Wav2Vec2ForCTC
import torch
import torchaudio

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained("Edresson/wav2vec2-large-100k-voxpopuli-ft-Common-Voice_plus_TTS-Dataset-russian")
model = Wav2Vec2ForCTC.from_pretrained("Edresson/wav2vec2-large-100k-voxpopuli-ft-Common-Voice_plus_TTS-Dataset-russian")

# 加载音频文件
audio_file = "your_audio_file.wav"
waveform, sample_rate = torchaudio.load(audio_file)

# 重采样到模型所需的采样率（通常为16000Hz）
resampler = torchaudio.transforms.Resample(orig_freq=sample_rate, new_freq=16000)
waveform = resampler(waveform)

# 进行语音识别
input_values = tokenizer(waveform.squeeze().numpy(), return_tensors="pt").input_values
with torch.no_grad():
    logits = model(input_values).logits
predicted_ids = torch.argmax(logits, dim=-1)
transcription = tokenizer.decode(predicted_ids[0])

print("识别结果:", transcription)

高级用法

使用Common Voice数据集进行测试

from datasets import load_dataset
import torchaudio
import re
from jiwer import wer

# 加载Common Voice数据集
dataset = load_dataset("common_voice", "pt", split="test", data_dir="./cv-corpus-6.1-2020-12-11")

# 定义重采样器
resampler = torchaudio.transforms.Resample(orig_freq=48_000, new_freq=16_000)

# 定义字符过滤正则表达式
chars_to_ignore_regex = '[\,\?\.\!\-\;\:\"]'

# 定义映射函数，将音频文件转换为数组
def map_to_array(batch):
    speech, _ = torchaudio.load(batch["path"])
    batch["speech"] = resampler.forward(speech.squeeze(0)).numpy()
    batch["sampling_rate"] = resampler.new_freq
    batch["sentence"] = re.sub(chars_to_ignore_regex, '', batch["sentence"]).lower().replace("’", "'")
    return batch

# 对数据集进行映射
ds = dataset.map(map_to_array)

# 定义预测函数（这里假设map_to_pred函数已定义）
def map_to_pred(batch):
    # 这里需要实现具体的预测逻辑
    input_values = tokenizer(batch["speech"], return_tensors="pt").input_values
    with torch.no_grad():
        logits = model(input_values).logits
    predicted_ids = torch.argmax(logits, dim=-1)
    batch["predicted"] = tokenizer.decode(predicted_ids[0])
    return batch

# 进行预测
result = ds.map(map_to_pred, batched=True, batch_size=1, remove_columns=list(ds.features.keys()))

# 计算字错率（WER）
print(wer.compute(predictions=result["predicted"], references=result["target"]))

📚 详细文档

模型信息

结果查看

如需查看详细的实验结果，请参考 论文。

📄 许可证

本项目采用Apache - 2.0许可证。