XLSR 1B Bokmaal Low

由 NbAiLab 开发

XLSR-1B-bokmaal-low 是一个自动语音识别(ASR)模型，专注于挪威书面语(Bokmål)的低资源语音识别任务。

语音识别

Transformers

#挪威语语音识别 #低词错误率 #大规模预训练

下载量 16

发布时间 : 3/2/2022

模型介绍

内容详情

替代品

模型简介

该模型是在自动语音识别任务上进行训练的，特别针对挪威书面语(Bokmål)的低资源场景优化。

模型特点

低资源优化

针对挪威书面语(Bokmål)的低资源场景进行了特别优化

高性能

在评估集上取得了7.22%的词错误率(WER)

大规模训练

基于1B参数的大规模模型架构

模型能力

挪威书面语(Bokmål)语音识别

低资源语音处理

使用案例

语音转文字

挪威语会议记录

将挪威语会议录音自动转换为文字记录

词错误率7.22%

语音助手

为挪威语语音助手提供语音识别能力

标签:

从训练器生成模型索引:
名称: XLSR-1B-bokmaal-low 结果: []

XLSR-1B-bokmaal-low

该模型是在None数据集上从头开始训练的。在评估集上取得了以下结果:

损失: 0.1579
词错误率(Wer): 0.0722

模型描述

需要更多信息

预期用途与限制

需要更多信息

训练与评估数据

需要更多信息

训练过程

训练超参数

训练过程中使用了以下超参数:

学习率: 1.7e-05
训练批次大小: 12
评估批次大小: 12
随机种子: 42
梯度累积步数: 2
总训练批次大小: 24
优化器: Adam，参数为betas=(0.9,0.999)，epsilon=1e-08
学习率调度器类型: 线性
训练轮数: 34.0
混合精度训练: 原生AMP

训练结果

训练损失	训练轮数	步数	验证损失	词错误率
0.434	0.24	500	0.1704	0.1378
0.2833	0.48	1000	0.1638	0.1324
0.2478	0.72	1500	0.1606	0.1240
0.2276	0.97	2000	0.1562	0.1212
0.2208	1.21	2500	0.1576	0.1172
0.2148	1.45	3000	0.1502	0.1119
0.1994	1.69	3500	0.1409	0.1110
0.1932	1.93	4000	0.1432	0.1112
0.2122	2.17	4500	0.1443	0.1098
0.2177	2.42	5000	0.1329	0.1102
0.2058	2.66	5500	0.1403	0.1070
0.2216	2.9	6000	0.1342	0.1067
0.1984	3.14	6500	0.1370	0.1030
0.2056	3.38	7000	0.1371	0.1041
0.1735	3.62	7500	0.1296	0.1003
0.203	3.87	8000	0.1301	0.1005
0.1835	4.11	8500	0.1310	0.1004
0.178	4.35	9000	0.1300	0.0959
0.1585	4.59	9500	0.1277	0.0966
0.1848	4.83	10000	0.1260	0.0974
0.169	5.07	10500	0.1281	0.0969
0.1666	5.32	11000	0.1291	0.1003
0.1552	5.56	11500	0.1271	0.0959
0.2736	5.8	12000	0.1320	0.0935
0.2845	6.04	12500	0.1299	0.0921
0.1536	6.28	13000	0.1282	0.0927
0.1491	6.52	13500	0.1240	0.0906
0.1579	6.77	14000	0.1208	0.0921
0.16	7.01	14500	0.1182	0.0903
0.1367	7.25	15000	0.1214	0.0922
0.1499	7.49	15500	0.1232	0.0916
0.148	7.73	16000	0.1184	0.0896
0.1426	7.97	16500	0.1201	0.0889
0.1471	8.22	17000	0.1256	0.0882
0.1358	8.46	17500	0.1265	0.0909
0.1245	8.7	18000	0.1263	0.0886
0.1407	8.94	18500	0.1226	0.0885
0.1289	9.18	19000	0.1315	0.0873
0.1326	9.42	19500	0.1233	0.0868
0.1305	9.67	20000	0.1237	0.0870
0.1432	9.91	20500	0.1234	0.0857
0.1205	10.15	21000	0.1303	0.0858
0.1248	10.39	21500	0.1252	0.0858
0.1251	10.63	22000	0.1253	0.0869
0.1143	10.87	22500	0.1266	0.0860
0.1155	11.12	23000	0.1219	0.0862
0.1227	11.36	23500	0.1329	0.0864
0.1229	11.6	24000	0.1244	0.0855
0.1112	11.84	24500	0.1356	0.0851
0.2163	12.08	25000	0.1252	0.0847
0.1146	12.32	25500	0.1211	0.0837
0.1058	12.57	26000	0.1247	0.0843
0.1099	12.81	26500	0.1189	0.0833
0.1028	13.05	27000	0.1303	0.0815
0.1092	13.29	27500	0.1305	0.0838
0.1076	13.53	28000	0.1276	0.0842
0.1074	13.77	28500	0.1268	0.0844
0.0971	14.02	29000	0.1322	0.0839
0.1109	14.26	29500	0.1287	0.0821
0.0991	14.5	30000	0.1289	0.0831
0.1095	14.74	30500	0.1273	0.0822
0.1015	14.98	31000	0.1326	0.0816
0.1051	15.22	31500	0.1337	0.0814
0.0894	15.47	32000	0.1331	0.0802
0.1	15.71	32500	0.1304	0.0798
0.0957	15.95	33000	0.1293	0.0824
0.0921	16.19	33500	0.1382	0.0808
0.0986	16.43	34000	0.1301	0.0788
0.098	16.67	34500	0.1305	0.0795
0.0974	16.92	35000	0.1325	0.0796
0.0886	17.16	35500	0.1332	0.0796
0.0892	17.4	36000	0.1327	0.0785
0.0917	17.64	36500	0.1304	0.0793
0.0919	17.88	37000	0.1353	0.0791
0.1007	18.12	37500	0.1340	0.0791
0.0831	18.37	38000	0.1327	0.0786
0.0862	18.61	38500	0.1343	0.0792
0.0837	18.85	39000	0.1334	0.0777
0.0771	19.09	39500	0.1456	0.0778
0.0841	19.33	40000	0.1365	0.0784
0.0874	19.57	40500	0.1379	0.0779
0.0773	19.82	41000	0.1359	0.0776
0.0771	20.06	41500	0.1392	0.0776
0.0861	20.3	42000	0.1395	0.0774
0.0773	20.54	42500	0.1356	0.0775
0.069	20.78	43000	0.1399	0.0765
0.0823	21.02	43500	0.1469	0.0774
0.0747	21.27	44000	0.1415	0.0768
0.0703	21.51	44500	0.1405	0.0778
0.0776	21.75	45000	0.1492	0.0778
0.0833	21.99	45500	0.1448	0.0767
0.0796	22.23	46000	0.1434	0.0761
0.0613	22.47	46500	0.1446	0.0768
0.0753	22.72	47000	0.1439	0.0757
0.076	22.96	47500	0.1402	0.0759
0.0619	23.2	48000	0.1473	0.0767
0.1322	23.44	48500	0.1431	0.0766
0.0691	23.68	49000	0.1452	0.0753
0.061	23.92	49500	0.1452	0.0752
0.0716	24.17	50000	0.1429	0.0756
0.074	24.41	50500	0.1440	0.0746
0.0696	24.65	51000	0.1459	0.0756
0.081	24.89	51500	0.1443	0.0751
0.0754	25.13	52000	0.1483	0.0755
0.0864	25.37	52500	0.1467	0.0757
0.0662	25.62	53000	0.1471	0.0748
0.109	25.86	53500	0.1472	0.0759
0.0682	26.1	54000	0.1539	0.0748
0.0655	26.34	54500	0.1469	0.0743
0.0651	26.58	55000	0.1553	0.0748
0.0666	26.82	55500	0.1520	0.0744
0.0724	27.07	56000	0.1526	0.0738
0.067	27.31	56500	0.1489	0.0738
0.0658	27.55	57000	0.1518	0.0738
0.0581	27.79	57500	0.1518	0.0739
0.0639	28.03	58000	0.1495	0.0736
0.0606	28.27	58500	0.1549	0.0739
0.0641	28.52	59000	0.1513	0.0735
0.0612	28.76	59500	0.1524	0.0739
0.0536	29.0	60000	0.1565	0.0741
0.0574	29.24	60500	0.1541	0.0741
0.057	29.48	61000	0.1555	0.0741
0.0624	29.72	61500	0.1590	0.0736
0.0531	29.97	62000	0.1590	0.0734
0.0661	30.21	62500	0.1599	0.0732
0.0641	30.45	63000	0.1576	0.0730
0.0562	30.69	63500	0.1593	0.0734
0.0527	30.93	64000	0.1604	0.0730
0.0579	31.17	64500	0.1571	0.0734
0.0508	31.42	65000	0.1603	0.0733
0.0524	31.66	65500	0.1588	0.0726
0.0564	31.9	66000	0.1571	0.0727
0.0551	32.14	66500	0.1584	0.0728
0.0564	32.38	67000	0.1565	0.0726
0.0628	32.62	67500	0.1558	0.0725
0.0561	32.87	68000	0.1582	0.0727
0.0553	33.11	68500	0.1591	0.0726
0.0504	33.35	69000	0.1590	0.0725
0.0539	33.59	69500	0.1582	0.0723
0.0576	33.83	70000	0.1579	0.0722