语言:

• 罗马尼亚语 许可证: apache-2.0 标签:
• 自动语音识别
• hf-asr排行榜
• 鲁棒语音赛事 数据集:
• mozilla-foundation/common_voice_8_0
• gigant/romanian_speech_synthesis_0_8_1 基础模型: facebook/wav2vec2-xls-r-300m 模型索引:
• 名称: wav2vec2-ro-300m_01 结果:
  • 任务: 类型: 自动语音识别 名称: 自动语音识别 数据集: 名称: 鲁棒语音赛事 类型: speech-recognition-community-v2/dev_data 参数: ro 指标:
    • 类型: wer 值: 46.99 名称: 开发集WER(无语言模型)
    • 类型: cer 值: 16.04 名称: 开发集CER(无语言模型)
    • 类型: wer 值: 38.63 名称: 开发集WER(带语言模型)
    • 类型: cer 值: 14.52 名称: 开发集CER(带语言模型)
  • 任务: 类型: 自动语音识别 名称: 自动语音识别 数据集: 名称: 通用语音 类型: mozilla-foundation/common_voice_8_0 参数: ro 指标:
    • 类型: wer 值: 11.73 名称: 测试集WER(无语言模型)
    • 类型: cer 值: 2.93 名称: 测试集CER(无语言模型)
    • 类型: wer 值: 7.31 名称: 测试集WER(带语言模型)
    • 类型: cer 值: 2.17 名称: 测试集CER(带语言模型)
  • 任务: 类型: 自动语音识别 名称: 自动语音识别 数据集: 名称: 鲁棒语音赛事-测试数据 类型: speech-recognition-community-v2/eval_data 参数: ro 指标:
    • 类型: wer 值: 43.23 名称: 测试集WER

您可以通过罗马尼亚语语音识别空间在线测试该模型

该模型在HuggingFace鲁棒语音挑战赛中位列罗马尼亚语语音识别第一名：

• 🤗语音基准

• 语音挑战排行榜

罗马尼亚语Wav2Vec2

该模型是基于facebook/wav2vec2-xls-r-300m在通用语音8.0-罗马尼亚语子集数据集上微调的版本，并额外使用了罗马尼亚语语音合成数据集进行训练。

在不使用5-gram语言模型优化的情况下，在评估集（通用语音8.0，罗马尼亚语子集，测试分割）上取得了以下结果：

• 损失: 0.1553
• WER: 0.1174
• CER: 0.0294

模型描述

架构基于facebook/wav2vec2-xls-r-300m，带有语音识别CTC头部，并添加了5-gram语言模型（使用pyctcdecode和kenlm）训练于罗马尼亚议会语料库数据集。需要这些库才能使语言模型增强的解码器工作。

预期用途与限制

该模型用于从16kHz采样的音频片段中进行罗马尼亚语语音识别。预测文本为小写且不包含任何标点符号。

使用方法

确保安装了正确的依赖项以使语言模型增强版本正常工作。您可以运行以下命令安装kenlm和pyctcdecode库：

pip install https://github.com/kpu/kenlm/archive/master.zip pyctcdecode

使用transformers框架，您可以通过以下代码加载模型：

from transformers import AutoProcessor, AutoModelForCTC

processor = AutoProcessor.from_pretrained("gigant/romanian-wav2vec2")

model = AutoModelForCTC.from_pretrained("gigant/romanian-wav2vec2")

或者，如果您想测试模型，可以从transformers加载自动语音识别管道：

from transformers import pipeline

asr = pipeline("automatic-speech-recognition", model="gigant/romanian-wav2vec2")

使用datasets库的示例

首先，您需要加载数据

我们将在此示例中使用罗马尼亚语语音合成数据集。

from datasets import load_dataset

dataset = load_dataset("gigant/romanian_speech_synthesis_0_8_1")

您可以使用IPython.display库收听样本：

from IPython.display import Audio

i = 0
sample = dataset["train"][i]
Audio(sample["audio"]["array"], rate = sample["audio"]["sampling_rate"])

该模型训练用于处理16kHz采样的音频，因此如果数据集中的音频采样率不同，我们需要重新采样。

在示例中，音频采样率为48kHz。我们可以通过检查dataset["train"][0]["audio"]["sampling_rate"]来确认这一点。

以下代码使用torchaudio库重新采样音频：

import torchaudio
import torch

i = 0
audio = sample["audio"]["array"]
rate = sample["audio"]["sampling_rate"]
resampler = torchaudio.transforms.Resample(rate, 16_000)
audio_16 = resampler(torch.Tensor(audio)).numpy()

收听重新采样后的样本：

Audio(audio_16, rate=16000)

现在您可以通过运行以下代码获取模型预测：

predicted_text = asr(audio_16)
ground_truth = dataset["train"][i]["sentence"]

print(f"预测文本: {predicted_text}")
print(f"真实文本: {ground_truth}")

训练和评估数据

训练数据：

• 通用语音8.0-罗马尼亚语子集：训练+验证+其他分割
• 罗马尼亚语语音合成：训练+测试分割

评估数据：

• 通用语音8.0-罗马尼亚语子集：测试分割

训练过程

训练超参数

训练期间使用了以下超参数：

• 学习率: 0.003
• 训练批次大小: 16
• 评估批次大小: 8
• 随机种子: 42
• 梯度累积步数: 3
• 总训练批次大小: 48
• 优化器: Adam，betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型: 线性
• 学习率预热步数: 500
• 训练轮数: 50.0
• 混合精度训练: Native AMP

训练结果