语言: "法语" 缩略图: 标签:

• wav2vec2 许可证: "apache-2.0"

LeBenchmark：基于3千小时法语语音训练的wav2vec2基础模型

LeBenchmark提供了一系列在包含自发、朗读和广播语音的不同法语数据集上预训练的wav2vec2模型集合。它包含两个版本，其中后续版本（LeBenchmark 2.0）在预训练SSL模型数量和下游任务数量方面都是第一版的扩展版本。 有关可用于评估wav2vec2模型的不同基准测试的更多信息，请参阅我们的论文：LeBenchmark 2.0：一个标准化、可复现且增强的法语语音自监督表示框架

模型和数据描述

我们发布了四种不同的模型，可以在我们的HuggingFace组织下找到。四种不同的wav2vec2架构Light、Base、Large和xLarge与我们的小型（1K）、中型（3K）、大型（7K）和超大型（14K）语料库相结合。简而言之：

LeBenchmark 2.0:

• wav2vec2-FR-14K-xlarge：在14K小时法语语音（5.4K男性/2.4K女性/6.8K未知）上训练的xLarge wav2vec2。
• wav2vec2-FR-14K-large：在14K小时法语语音（5.4K男性/2.4K女性/6.8K未知）上训练的Large wav2vec2。
• wav2vec2-FR-14K-light：在14K小时法语语音（5.4K男性/2.4K女性/6.8K未知）上训练的Light wav2vec2。

LeBenchmark:

• wav2vec2-FR-7K-large：在7.6K小时法语语音（1.8K男性/1.0K女性/4.8K未知）上训练的Large wav2vec2。
• wav2vec2-FR-7K-base：在7.6K小时法语语音（1.8K男性/1.0K女性/4.8K未知）上训练的Base wav2vec2。
• wav2vec2-FR-3K-large：在2.9K小时法语语音（1.8K男性/1.0K女性/0.1K未知）上训练的Large wav2vec2。
• wav2vec2-FR-3K-base：在2.9K小时法语语音（1.8K男性/1.0K女性/0.1K未知）上训练的Base wav2vec2。
• wav2vec2-FR-2.6K-base：在2.6K小时法语语音（无自发语音）上训练的Base wav2vec2。
• wav2vec2-FR-1K-large：在1K小时法语语音（0.5K男性/0.5K女性）上训练的Large wav2vec2。
• wav2vec2-FR-1K-base：在1K小时法语语音（0.5K男性/0.5K女性）上训练的Base wav2vec2。

预期用途与限制

预训练的wav2vec2模型根据Apache-2.0许可证分发。因此，它们可以在没有严格限制的情况下广泛重用。然而，基准测试和数据可能与未完全开源的语料库相关联。

使用Fairseq进行CTC的ASR微调

由于我们的wav2vec2模型是使用Fairseq训练的，因此可以用于他们提供的不同工具中，以使用CTC对模型进行ASR微调。完整的过程已在这篇博客文章中进行了很好的总结。

请注意，由于CTC的性质，语音到文本的结果预计不会是最先进的。此外，未来可能会根据Fairseq和HuggingFace在这部分的参与情况出现新的功能。

集成到SpeechBrain中进行ASR、说话人识别、源分离等

预训练的wav2vec模型最近越来越受欢迎。与此同时，SpeechBrain工具包推出，提出了一种新的、更简单的方式来处理最先进的语音和深度学习技术。

虽然目前处于测试阶段，但SpeechBrain提供了两种不同的方式来很好地集成使用Fairseq训练的wav2vec2模型，即我们的LeBenchmark模型！

1. 动态提取wav2vec2特征（使用冻结的wav2vec2编码器）以与任何语音相关架构结合。例如：使用CTC+Att+语言模型的端到端ASR；说话人识别或验证，源分离等。
2. *实验性：*为了充分利用wav2vec2，最佳解决方案仍然是在训练下游任务时微调模型。这在SpeechBrain中非常简单，只需打开一个标志即可。因此，我们的wav2vec2模型可以在训练您喜欢的ASR管道或说话人识别器时进行微调。

如果有兴趣，请遵循此教程

引用LeBenchmark

@misc{parcollet2023lebenchmark,
      title={LeBenchmark 2.0: a Standardized, Replicable and Enhanced Framework for Self-supervised Representations of French Speech}, 
      author={Titouan Parcollet and Ha Nguyen and Solene Evain and Marcely Zanon Boito and Adrien Pupier and Salima Mdhaffar and Hang Le and Sina Alisamir and Natalia Tomashenko and Marco Dinarelli and Shucong Zhang and Alexandre Allauzen and Maximin Coavoux and Yannick Esteve and Mickael Rouvier and Jerome Goulian and Benjamin Lecouteux and Francois Portet and Solange Rossato and Fabien Ringeval and Didier Schwab and Laurent Besacier},
      year={2023},
      eprint={2309.05472},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}