数据集:

• CoRal-project/coral-v2 语言:
• da 基础模型:
• facebook/wav2vec2-xls-r-300m 评估指标:
• wer
• cer 许可证: openrail 管道标签: 自动语音识别 模型索引:
• 名称: roest-wav2vec2-315m-v2 结果:
  • 任务: 类型: 自动语音识别 名称: 自动语音识别 数据集: 名称: CoRal朗读 类型: alexandrainst/coral 分割: 测试 参数: read_aloud 指标:
    • 类型: cer 值: 6.5% ± 0.2% 名称: CER
    • 类型: wer 值: 16.3% ± 0.4% 名称: WER

Røst-wav2vec2-315m-v2

这是丹麦最先进的语音识别模型，由Alvenir作为CoRal项目的一部分训练而成。

此存储库包含一个基于即将发布的CoRal-v2数据集训练的Wav2Vec2模型。
CoRal-v2数据集包含丰富多样的丹麦对话和朗读数据，涵盖不同年龄组、性别和方言。
该模型专为自动语音识别（ASR）设计。

在我们的交互式演示中试用吧！

快速开始

首先安装所需的库：

$ pip install transformers kenlm pyctcdecode

接下来，您可以使用transformers Python包如下使用模型：

>>> from transformers import pipeline
>>> audio = get_audio()  # 16kHz原始音频数组
>>> transcriber = pipeline(model="CoRal-project/roest-wav2vec2-315m-v2")
>>> transcriber(audio)
{'text': '您的转录文本'}

转录示例

探索以下音频样本及其转录文本和准确度指标。每个示例展示了模型在不同丹麦方言下的表现。

模型详情

Wav2Vec2是一种最先进的语音识别模型架构，利用原始音频数据进行自监督学习。预训练的Wav2Vec2-XLS-R-300M已针对自动语音识别进行了微调，使用了CoRal-v2数据集，以增强其在识别丹麦语音时对不同方言的考虑。模型通过运行CoRaL存储库中的训练设置进行了30K步的训练：

python src/scripts/finetune_asr_model.py \
  model=wav2vec2-small \
  max_steps=30000 \
  datasets.coral_conversation_internal.id=CoRal-project/coral-v2 \
  datasets.coral_readaloud_internal.id=CoRal-project/coral-v2

模型使用语言模型（LM）作为后处理进行评估。
所使用的LM是由CoRal-project/roest-wav2vec2-315m-v1训练和使用的。

模型在CoRal-v2数据集上训练，包括对话和朗读子集。
该数据集包含丹麦语音，涵盖多种方言、年龄组和性别区分。
请注意，该数据集以及此模型采用自定义许可证，基于OpenRAIL-M，允许商业使用，但有一些限制（语音合成和生物识别） - 参见许可证。

评估

模型使用以下指标进行评估：

• 字符错误率 (CER): 错误转录的字符百分比。
• 单词错误率 (WER): 错误转录的单词百分比。

CoRal对话性能

模型首先在CoRal-v2对话数据集的暂定版本上进行了评估。

由于测试集仅包含5个独特说话者，其中4位为女性，因此结果是暂定的。
测试集包括2位“菲英岛”方言说话者，1位“南日德兰”方言，1位“非母语”和1位“北日德兰”方言。

请注意，针对朗读数据训练的模型在对话数据上的高泛化误差仍在分析中。

CoRal朗读性能

注意！ hviske-v2的基准已重新评估，置信区间比模型卡中报告的要大。

在其他数据集上的性能

模型还在其他数据集上进行了测试以评估泛化能力：

注意！ 训练词汇包括数字（0,1,2,...,9），这些数字在后处理步骤中被转换为文本。如果模型遗漏空格，数字将被解释为一个整体，这尤其影响NST分数，因为该数据集包含许多数字。

关于比较Whisper和Wav2Vec2模型的说明

本模型卡中详述的Whisper模型在字符错误率（CER）和单词错误率（WER）方面显著低于Wav2Vec2模型。
Whisper采用基于transformer的架构，具有增强上下文理解的附加层。
相比之下，Wav2Vec2模型使用较短的上下文窗口，专注于声音预测。
Røst-Wav2Vec2模型在后处理中引入了简单的语言模型，基于统计语言模式解决错误。
引入更复杂的上下文后处理语言模型可能使这些模型类型之间的比较更加公平，CoRal项目计划在未来的版本中探索这一点。

Røst-Whisper模型在朗读数据中表现出色，利用其嵌入式上下文框架在此上下文中实现更稳健的识别。
然而，Wav2Vec2模型在各种语音识别任务中表现出更好的泛化能力，而Whisper模型在对话数据中错误率更高。
需要注意的是，CoRal-v2对话数据集是暂定的，且说话者多样性有限，可能会影响这些结果。

训练曲线

创建者和资助者

此模型由Alvenir的Marie Juhl Jørgensen和Søren Vejlgaard Holm训练，并由他们撰写模型卡。

CoRal项目由丹麦创新基金资助，包括以下合作伙伴：

• Alexandra Institute
• 哥本哈根大学
• 数字政府机构
• Alvenir
• Corti

我们特别感谢Alexandra Institute的Dan Saattrup Nielsen（除其他外）的存储库工作，以及Alexandra Institute的Simon Leminen Madsen的建模工作。

引用

@misc{roest-wav2vec2-315m-v2,
  作者    = {Marie Juhl Jørgensen, Søren Vejlgaard Holm, Martin Carsten Nielsen, Dan Saattrup Nielsen, Sif Bernstorff Lehmann, Simon Leminen Madsen 和 Torben Blach},
  标题     = {Røst-wav2vec-315m-v2: 基于多样人口统计和方言训练的丹麦最先进语音识别模型},
  年份      = {2025},
  网址       = {https://huggingface.co/CoRal-project/roest-wav2vec2-315m-v2},
}