Wav2vec2 Xls R 300m Npsc Bokmaal

由 NbAiLab 开发

这是一个基于XLS-R架构的自动语音识别模型，专门针对挪威书面语（博克马尔语）进行训练，在NPSC数据集上表现出色。

语音识别

Transformers

开源协议:Apache-2.0 #挪威语音识别 #低词错误率 #博克马尔语支持

下载量 23

发布时间 : 3/2/2022

模型介绍

内容详情

替代品

模型简介

该模型是基于Facebook的wav2vec2-xls-r-300m架构训练的自动语音识别系统，专门用于挪威书面语（博克马尔语）的语音转文本任务。

模型特点

挪威语优化

专门针对挪威书面语（博克马尔语）进行训练和优化

高性能

在NPSC测试集上取得7.56%的词错误率和2.82%的字错误率

大规模训练

使用NPSC数据集进行训练，包含丰富的挪威语语音数据

模型能力

挪威语语音识别

语音转文本

音频内容转录

使用案例

语音转录

会议记录

将挪威语会议录音自动转录为文本

高准确率的转录结果

媒体字幕生成

为挪威语视频内容自动生成字幕

提升媒体内容可访问性

语音助手

挪威语语音指令识别

用于挪威语语音助手系统中的语音指令理解

提高语音交互准确性

license: apache-2.0 tags:

训练器生成
自动语音识别
NbAiLab/NPSC
鲁棒语音事件
否
挪威书面语（博克马尔语）
hf-asr排行榜 datasets:
NbAiLab/NPSC language:
挪威书面语（博克马尔语） model-index:
name: wav2vec2-xls-r-300m-npsc-bokmaal results:
- task: name: 自动语音识别 type: automatic-speech-recognition dataset: name: NPSC type: NbAiLab/NPSC args: 16K_mp3_bokmaal metrics:
  - name: "测试集（博克马尔语）词错误率" type: wer value: 0.07556265455560153
  - name: "测试集（博克马尔语）字错误率" type: cer value: 0.028191288775481386

wav2vec2-xls-r-300m-npsc-bokmaal

该模型基于None数据集从头开始训练，在评估集上取得以下结果：

损失值：0.1663
词错误率：0.0932

模型描述

（需补充详细信息）

使用场景与限制

（需补充详细信息）

训练与评估数据

（需补充详细信息）

训练流程

训练超参数

训练过程中采用以下超参数：

学习率：5e-05
训练批次大小：16
评估批次大小：16
随机种子：42
梯度累积步数：2
总训练批次大小：32
优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
学习率调度器类型：线性
学习率预热步数：500
训练轮数：15.0
混合精度训练：原生AMP

训练结果

训练损失	训练轮数	步数	验证损失	词错误率
0.0969	0.32	500	0.1773	0.1054
0.0929	0.64	1000	0.1672	0.1061
0.1018	0.97	1500	0.1770	0.1067
0.0871	1.29	2000	0.1832	0.1087
0.0908	1.61	2500	0.1830	0.1101
0.0975	1.93	3000	0.1848	0.1100
0.0936	2.26	3500	0.1853	0.1113
0.1025	2.58	4000	0.1958	0.1149
0.0989	2.9	4500	0.1776	0.1123
0.0946	3.22	5000	0.1825	0.1097
0.0859	3.55	5500	0.1864	0.1072
0.0867	3.87	6000	0.1886	0.1081
0.0783	4.19	6500	0.1883	0.1063
0.0804	4.51	7000	0.1831	0.1063
0.0797	4.84	7500	0.1884	0.1058
0.0705	5.16	8000	0.1802	0.1057
0.0795	5.48	8500	0.1854	0.1038
0.0711	5.8	9000	0.1766	0.1032
0.0973	6.13	9500	0.1663	0.1014
0.087	6.45	10000	0.1664	0.1014
0.0962	6.77	10500	0.1631	0.1009
0.0857	7.09	11000	0.1659	0.1002
0.0882	7.41	11500	0.1668	0.1007
0.0784	7.74	12000	0.1688	0.0996
0.0838	8.06	12500	0.1675	0.0984
0.0863	8.38	13000	0.1639	0.0979
0.0763	8.7	13500	0.1638	0.0980
0.0822	9.03	14000	0.1709	0.0972
0.0769	9.35	14500	0.1700	0.0965
0.0838	9.67	15000	0.1703	0.0974
0.0799	9.99	15500	0.1667	0.0957
0.0712	10.32	16000	0.1754	0.0960
0.0737	10.64	16500	0.1725	0.0968
0.0851	10.96	17000	0.1733	0.0958
0.076	11.28	17500	0.1682	0.0954
0.0712	11.61	18000	0.1713	0.0943
0.0745	11.93	18500	0.1662	0.0951
0.0864	12.25	19000	0.1692	0.0947
0.0937	12.57	19500	0.1624	0.0943
0.0915	12.89	20000	0.1678	0.0942
0.0926	13.22	20500	0.1641	0.0945
0.0912	13.54	21000	0.1665	0.0937
0.0917	13.86	21500	0.1648	0.0936
0.094	14.18	22000	0.1635	0.0935
0.0864	14.51	22500	0.1678	0.0934
0.0899	14.83	23000	0.1663	0.0932