语言：俄语
数据集：

• SberDevices/Golos
• bond005/sova_rudevices
• bond005/rulibrispeech
  评估指标：
• 词错误率（WER）
• 字符错误率（CER）
  标签：
• 音频
• 自动语音识别
• 语音
• XLSR微调周
  许可证：Apache-2.0
  示例：
• 标题：俄语测试音频“神经网络是好的”
  音频链接：https://huggingface.co/bond005/wav2vec2-large-ru-golos/resolve/main/test_sound_ru.flac
  模型索引：
• 名称：Ivan Bondarenko的XLSR Wav2Vec2俄语模型
  结果：
  • 任务：
    名称：语音识别
    类型：自动语音识别
    数据集：
    名称：Sberdevices Golos（众包）
    类型：SberDevices/Golos
    参数：俄语
    指标：
    • 名称：测试WER
      类型：wer
      值：10.144
    • 名称：测试CER
      类型：cer
      值：2.168
  • 任务：
    名称：语音识别
    类型：自动语音识别
    数据集：
    名称：Sberdevices Golos（远场）
    类型：SberDevices/Golos
    参数：俄语
    指标：
    • 名称：测试WER
      类型：wer
      值：20.353
    • 名称：测试CER
      类型：cer
      值：6.030
  • 任务：
    名称：自动语音识别
    类型：自动语音识别
    数据集：
    名称：Common Voice俄语
    类型：common_voice
    参数：俄语
    指标：
    • 名称：测试WER
      类型：wer
      值：18.548
    • 名称：测试CER
      类型：cer
      值：4.000
  • 任务：
    名称：自动语音识别
    类型：自动语音识别
    数据集：
    名称：Sova RuDevices
    类型：bond005/sova_rudevices
    参数：俄语
    指标：
    • 名称：测试WER
      类型：wer
      值：25.410
    • 名称：测试CER
      类型：cer
      值：7.965
  • 任务：
    名称：自动语音识别
    类型：自动语音识别
    数据集：
    名称：俄语Librispeech
    类型：bond005/rulibrispeech
    参数：俄语
    指标：
    • 名称：测试WER
      类型：wer
      值：21.872
    • 名称：测试CER
      类型：cer
      值：4.469
  • 任务：
    名称：自动语音识别
    类型：自动语音识别
    数据集：
    名称：Voxforge俄语
    类型：dangrebenkin/voxforge-ru-dataset
    参数：俄语
    指标：
    • 名称：测试WER
      类型：wer
      值：27.084
    • 名称：测试CER
      类型：cer
      值：6.986

Wav2Vec2-Large-Ru-Golos

Wav2Vec2模型基于facebook/wav2vec2-large-xlsr-53，使用Sberdevices Golos数据集在俄语上进行了微调，并应用了音高变换、声音加速/减速、混响等音频增强技术。

使用此模型时，请确保语音输入采样率为16kHz。

使用方法

该模型可作为独立的声学模型转录音频文件，示例如下：

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import torch
 
# 加载模型和分词器
processor = Wav2Vec2Processor.from_pretrained("bond005/wav2vec2-large-ru-golos")
model = Wav2Vec2ForCTC.from_pretrained("bond005/wav2vec2-large-ru-golos")
     
# 加载Golos数据集的测试部分并读取第一个音频文件
ds = load_dataset("bond005/sberdevices_golos_10h_crowd", split="test")
 
# 分词处理
processed = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest")  # 批量大小为1
 
# 获取逻辑值
logits = model(processed.input_values, attention_mask=processed.attention_mask).logits
 
# 取最大值并解码
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)[0]
print(transcription)

评估

以下代码片段展示了如何在Golos数据集的“crowd”和“farfield”测试数据上评估bond005/wav2vec2-large-ru-golos模型。

from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
import torch
from jiwer import wer, cer  # 需要词错误率（WER）和字符错误率（CER）

# 加载Golos Crowd的测试部分并移除“真实”转录为空的样本
golos_crowd_test = load_dataset("bond005/sberdevices_golos_10h_crowd", split="test")
golos_crowd_test = golos_crowd_test.filter(
    lambda it1: (it1["transcription"] is not None) and (len(it1["transcription"].strip()) > 0)
)

# 加载Golos Farfield的测试部分并移除“真实”转录为空的样本
golos_farfield_test = load_dataset("bond005/sberdevices_golos_100h_farfield", split="test")
golos_farfield_test = golos_farfield_test.filter(
    lambda it2: (it2["transcription"] is not None) and (len(it2["transcription"].strip()) > 0)
)

# 加载模型和分词器
model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-base-960h").to("cuda")
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-base-960h")

# 识别单个音频
def map_to_pred(batch):
    # 分词和向量化
    processed = processor(
        batch["audio"]["array"], sampling_rate=batch["audio"]["sampling_rate"],
        return_tensors="pt", padding="longest"
    )
    input_values = processed.input_values.to("cuda")
    attention_mask = processed.attention_mask.to("cuda")

    # 识别
    with torch.no_grad():
        logits = model(input_values, attention_mask=attention_mask).logits
    predicted_ids = torch.argmax(logits, dim=-1)

    # 解码
    transcription = processor.batch_decode(predicted_ids)
    batch["text"] = transcription[0]
    return batch

# 计算crowd领域的WER和CER
crowd_result = golos_crowd_test.map(map_to_pred, remove_columns=["audio"])
crowd_wer = wer(crowd_result["transcription"], crowd_result["text"])
crowd_cer = cer(crowd_result["transcription"], crowd_result["text"])
print("Crowd领域的词错误率：", crowd_wer)
print("Crowd领域的字符错误率：", crowd_cer)

# 计算farfield领域的WER和CER
farfield_result = golos_farfield_test.map(map_to_pred, remove_columns=["audio"])
farfield_wer = wer(farfield_result["transcription"], farfield_result["text"])
farfield_cer = cer(farfield_result["transcription"], farfield_result["text"])
print("Farfield领域的词错误率：", farfield_wer)
print("Farfield领域的字符错误率：", farfield_cer)

结果（WER，%）：

结果（CER，%）：

您可以在我的Kaggle页面上查看其他数据集（包括俄语Librispeech和SOVA RuDevices）的评估脚本：https://www.kaggle.com/code/bond005/wav2vec2-ru-eval

引用

如需引用此模型，请使用以下格式：

@misc{bondarenko2022wav2vec2-large-ru-golos,
  title={XLSR Wav2Vec2俄语模型 by Ivan Bondarenko},
  author={Bondarenko, Ivan},
  publisher={Hugging Face},
  journal={Hugging Face Hub},
  howpublished={\url{https://huggingface.co/bond005/wav2vec2-large-ru-golos}},
  year={2022}
}