数据集:

• CoRal-project/coral-v2 语言:
• da 基础模型:
• facebook/wav2vec2-xls-r-1b 评估指标:
• wer
• cer 许可证: openrail 任务标签: 自动语音识别 模型索引:
• 名称: roest-wav2vec2-1B-v2 结果:
  • 任务: 类型: 自动语音识别 名称: 自动语音识别 数据集: 名称: CoRal 朗读数据集 类型: CoRal-project/coral 拆分: 测试集 参数: read_aloud 评估指标:
    • 类型: cer 值: 6.5% ± 0.2% 名称: 字符错误率
    • 类型: wer 值: 16.4% ± 0.4% 名称: 单词错误率

Røst-wav2vec2-1B-v2

这是丹麦最先进的语音识别模型，由Alvenir作为CoRal项目的一部分训练而成。

此仓库包含一个基于CoRal-v2数据集训练的Wav2Vec2模型。CoRal-v2数据集包含丰富多样的丹麦对话和朗读数据，覆盖不同年龄、性别和方言。该模型专为自动语音识别（ASR）设计。

快速开始

首先安装必要的库：

$ pip install transformers kenlm pyctcdecode

然后可以通过transformers Python包使用该模型：

>>> from transformers import pipeline
>>> audio = get_audio()  # 16kHz原始音频数组
>>> transcriber = pipeline(model="CoRal-project/roest-wav2vec2-1B-v2")
>>> transcriber(audio)
{'text': '您的转录文本'}

模型详情

Wav2Vec2是最先进的语音识别模型架构，利用原始音频数据进行自监督学习。预训练的wav2vec2-xls-r-1b模型通过CoRal-v2数据集进行了微调，以提升其在考虑不同方言情况下识别丹麦语的表现。模型训练了30K步，使用了CoRaL仓库中的训练配置：

python src/scripts/finetune_asr_model.py  \
model=wav2vec2-medium \
max_steps=30000 \
datasets.coral_conversation_internal.id=CoRal-project/coral-v2 \
datasets.coral_readaloud_internal.id=CoRal-project/coral-v2

模型评估使用了语言模型（LM）作为后处理。所使用的LM与CoRal-project/roest-wav2vec2-315m-v1相同。

模型基于CoRal-v2数据集训练，包含对话和朗读子集。该数据集覆盖多种丹麦方言、年龄和性别。请注意，数据集使用自定义许可证（基于OpenRAIL-M），允许商业使用但有少量限制（语音合成和生物识别）。详见许可证。

评估

模型使用以下指标评估：

• 字符错误率（CER）：错误转录的字符百分比。
• 单词错误率（WER）：错误转录的单词百分比。

CoRal对话数据表现

模型首先在CoRal-v2对话数据集的暂定版本上评估。由于测试集仅包含5名独特说话者（其中4名为女性），结果具有暂定性。测试集包含2名“菲英岛”方言、1名“南日德兰”方言、1名“非母语”和1名“北日德兰”方言说话者。