许可协议: apache-2.0
语言: 芬兰语
评估指标:

• 词错误率(wer)
• 字符错误率(cer)

标签:

• 自动语音识别
• 芬兰语
• 芬兰文
• 训练生成
• hf-asr排行榜
• 鲁棒语音赛事

数据集:

• mozilla-foundation/common_voice_7_0

模型索引:

• 名称: wav2vec2-xlsr-1b-finnish-lm-v2
  成果:
  • 任务:
    名称: 自动语音识别
    类型: automatic-speech-recognition
    数据集:
    名称: Common Voice 7
    类型: mozilla-foundation/common_voice_7_0
    参数: fi
    指标:
    • 名称: 测试WER
      类型: wer
      数值: 4.09
    • 名称: 测试CER
      类型: cer
      数值: 0.88
  • 任务:
    名称: 自动语音识别
    类型: automatic-speech-recognition
    数据集:
    名称: FLEURS ASR
    类型: google/fleurs
    参数: fi_fi
    指标:
    • 名称: 测试WER
      类型: wer
      数值: 12.11
    • 名称: 测试CER
      类型: cer
      数值: 5.65

芬兰语ASR的Wav2vec2-xls-r-1b模型

本声学模型是基于facebook/wav2vec2-xls-r-1b针对芬兰语ASR任务微调的版本。该模型使用275.6小时的芬兰语标注语音数据进行微调。Wav2Vec2 XLS-R的论文介绍见此处，首次发布于此页面。

本仓库还包含在声学模型解码阶段使用的芬兰语KenLM语言模型。

注意：此模型与aapot/wav2vec2-xlsr-1b-finnish-lm-v2完全相同，只是被复制/移动到了Finnish-NLP这个Hugging Face组织下。

模型描述

Wav2Vec2 XLS-R是Facebook AI的大规模多语言预训练语音模型。它在43.6万小时的无标注语音数据上预训练，包括VoxPopuli、MLS、CommonVoice、BABEL和VoxLingua107。它使用wav2vec 2.0目标函数，支持128种语言。

您可以从这篇博客和这篇论文了解更多关于预训练模型的信息。

本模型是预训练模型（10亿参数版本）针对芬兰语ASR任务的微调版本。

预期用途与限制

您可以将此模型用于芬兰语ASR（语音转文本）任务。

使用方法

查看本仓库中的run-finnish-asr-models.ipynb笔记本，了解如何使用此模型的详细示例。

限制与偏差

此模型使用最长20秒的音频样本进行微调，因此可能最适合类似长度的较短音频。不过，您也可以尝试处理更长的音频文件。如果遇到超长音频文件的内存不足错误，可以使用这篇博客文章中介绍的音频分块方法。

微调所用数据绝大部分来自芬兰议会数据集，因此该模型可能无法很好地泛化到非常不同的领域，如带有方言的日常芬兰口语等。此外，数据集中的音频往往以成年男性为主，因此该模型可能对儿童和女性语音的效果不佳。

解码阶段使用的芬兰语KenLM语言模型是基于音频转录文本和芬兰维基百科子集训练的。因此，解码器的语言模型可能无法很好地泛化到非常不同的语言，例如带有方言的日常口语（因为维基百科主要包含正式的芬兰语）。针对您的领域语言训练自己的KenLM语言模型并在解码中使用可能会更有益。

训练数据

该模型使用来自以下数据集的275.6小时芬兰语标注语音数据进行微调：

数据集经过过滤，只包含最长20秒的音频样本。

训练过程

该模型是在Hugging Face组织的鲁棒语音挑战赛期间训练的。训练在OVHcloud赞助的Tesla V100 GPU上进行。

训练脚本由Hugging Face提供，可在此处获取。我们只修改了其数据加载部分以适应我们的自定义数据集。

对于KenLM语言模型训练，我们遵循Hugging Face提供的博客教程。5-gram KenLM的训练数据包括音频训练数据的文本转录和清洗后的芬兰维基百科（2021年8月）数据集的10万随机样本。

训练超参数

训练期间使用的超参数如下：

• 学习率：5e-05
• 训练批次大小：32
• 评估批次大小：8
• 随机种子：42
• 优化器：8-bit Adam，betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型：线性
• 学习率预热步数：500
• 训练轮数：10
• 混合精度训练：原生AMP

预训练的facebook/wav2vec2-xls-r-1b模型使用以下超参数初始化：

• 注意力丢弃率：0.094
• 隐藏层丢弃率：0.047
• 特征投影丢弃率：0.04
• 掩码时间概率：0.082
• 层级丢弃率：0.041
• 激活函数丢弃率：0.055
• CTC损失缩减："mean"

训练结果