语言: "法语" 缩略图: 标签:

• wav2vec2 许可证: "apache-2.0"

LeBenchmark：基于2.6千小时法语语音训练的wav2vec2基础模型

LeBenchmark提供了一系列在不同法语数据集上预训练的wav2vec2模型，包含自发、朗读和广播语音。它有两个版本，其中后续版本（LeBenchmark 2.0）在预训练SSL模型数量和下游任务数量上均对第一版进行了扩展。如需了解用于评估wav2vec2模型的不同基准测试，请参阅我们的论文：LeBenchmark 2.0：法语语音自监督表征的标准化、可复现及增强框架

模型与数据描述

我们发布了四种不同模型，可在我们的HuggingFace组织下找到。四种wav2vec2架构——轻量级、基础、大型和超大型——分别与我们的小型（1K）、中型（3K）、大型（7K）和超大型（14K）语料库结合。简而言之：

LeBenchmark 2.0:

• wav2vec2-FR-14K-xlarge：基于14K小时法语语音训练的超大型wav2vec2（5.4K男性/2.4K女性/6.8K未知）。
• wav2vec2-FR-14K-large：基于14K小时法语语音训练的大型wav2vec2（5.4K男性/2.4K女性/6.8K未知）。
• wav2vec2-FR-14K-light：基于14K小时法语语音训练的轻量级wav2vec2（5.4K男性/2.4K女性/6.8K未知）。

LeBenchmark:

• wav2vec2-FR-7K-large：基于7.6K小时法语语音训练的大型wav2vec2（1.8K男性/1.0K女性/4.8K未知）。
• wav2vec2-FR-7K-base：基于7.6K小时法语语音训练的基础wav2vec2（1.8K男性/1.0K女性/4.8K未知）。
• wav2vec2-FR-3K-large：基于2.9K小时法语语音训练的大型wav2vec2（1.8K男性/1.0K女性/0.1K未知）。
• wav2vec2-FR-3K-base：基于2.9K小时法语语音训练的基础wav2vec2（1.8K男性/1.0K女性/0.1K未知）。
• wav2vec2-FR-2.6K-base：基于2.6K小时法语语音训练的基础wav2vec2（不含自发语音）。
• wav2vec2-FR-1K-large：基于1K小时法语语音训练的大型wav2vec2（0.5K男性/0.5K女性）。
• wav2vec2-FR-1K-base：基于1K小时法语语音训练的基础wav2vec2（0.5K男性/0.5K女性）。

用途与限制

预训练的wav2vec2模型遵循Apache-2.0许可证分发，因此可广泛复用而无严格限制。但基准测试和数据可能关联到未完全开源的语料库。

使用Fairseq进行CTC语音识别微调

由于我们的wav2vec2模型使用Fairseq训练，可通过其提供的工具进行CTC语音识别微调。完整流程详见此博客。请注意，CTC特性决定了语音转文本效果可能非最优，且未来功能取决于Fairseq和HuggingFace的更新。

集成至SpeechBrain实现语音识别、说话人分离等

随着预训练wav2vec模型流行，SpeechBrain工具包提供了两种集成Fairseq训练模型（如LeBenchmark模型）的简便方式：

1. 动态提取特征：冻结编码器，将wav2vec2特征与任意语音架构结合，支持端到端语音识别（CTC+注意力+语言模型）、说话人验证、音源分离等场景。
2. 实验性微调：通过启用标志位，可在训练下游任务时同步微调模型，充分释放wav2vec2潜力。

具体操作请参考教程

引用LeBenchmark

@misc{parcollet2023lebenchmark,
      title={LeBenchmark 2.0: a Standardized, Replicable and Enhanced Framework for Self-supervised Representations of French Speech}, 
      author={Titouan Parcollet et al.},
      year={2023},
      eprint={2309.05472},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}