Wav2vec2 Xls R 300m Hebrew

由 imvladikon 开发

这是一个基于facebook/wav2vec2-xls-r-300m模型微调的希伯来语自动语音识别模型，通过两阶段训练在小规模和大规模数据集上优化性能。

语音识别

Transformers

其他

#希伯来语语音识别 #两阶段微调 #弱标记数据训练

下载量 1.2M

发布时间 : 3/2/2022

模型介绍

内容详情

替代品

模型简介

该模型专门用于希伯来语的自动语音识别任务，通过两阶段微调过程在小规模高质量数据集和大规模多样化数据集上进行训练，以提高识别准确率。

模型特点

两阶段微调训练

先在小规模高质量数据集上微调，再在大规模多样化数据集上进行二次训练，提高模型鲁棒性

多源数据训练

训练数据包含高质量标注数据、多样化来源数据以及模型弱标记的未标记数据

低词错误率

在小规模测试集上达到17.73%的词错误率，在大规模测试集上达到23.18%的词错误率

模型能力

希伯来语语音识别

音频转文本

鲁棒语音处理

使用案例

语音转录

希伯来语会议记录

将希伯来语会议录音自动转录为文本

词错误率约23.18%

希伯来语语音助手

为希伯来语语音助手提供语音识别能力

语音分析

希伯来语语音内容分析

分析希伯来语语音内容并提取关键信息

语言:

希伯来语标签:
自动语音识别
训练器生成
希伯来语
hf-asr排行榜
鲁棒语音事件基础模型: facebook/wav2vec2-xls-r-300m 模型索引:
名称: wav2vec2-xls-r-300m-hebrew 结果:
- 任务: 类型: 自动语音识别名称: 自动语音识别数据集: 名称: 自定义数据集类型: 自定义参数: he 指标:
  - 类型: 词错误率值: 23.18 名称: 测试词错误率

wav2vec2-xls-r-300m-hebrew

该模型是在私有数据集上对facebook/wav2vec2-xls-r-300m进行两阶段微调的版本——首先在小规模高质量样本数据集上进行微调，然后将获得的模型在大规模数据集（包含小规模优质数据集、来自不同来源的多样化样本，以及使用先前训练模型弱标记的未标记数据集）上进行二次微调。

小规模数据集:

分割	大小(GB)	样本数	时长(小时)
训练集	4.19	20306	28
验证集	1.05	5076	7

大规模数据集:

分割	大小(GB)	样本数	时长(小时)
训练集	12.3	90777	69
验证集	2.39	20246	14*
(*弱标记数据未用于验证集)

首次训练后达到:

在小规模数据集上

损失值: 0.5438
词错误率: 0.1773

在大规模数据集上

词错误率: 0.3811

二次训练后: 在小规模数据集上

词错误率: 0.1697

在大规模数据集上

损失值: 0.4502
词错误率: 0.2318

模型描述

需要更多信息

预期用途与限制

需要更多信息

训练与评估数据

需要更多信息

训练过程

训练超参数

首次训练

训练过程中使用了以下超参数:

学习率: 0.0003
训练批次大小: 8
评估批次大小: 8
随机种子: 42
分布式类型: 多GPU
设备数量: 2
梯度累积步数: 4
总训练批次大小: 64
总评估批次大小: 16
优化器: Adam (β1=0.9, β2=0.999, ε=1e-08)
学习率调度器类型: 线性
学习率预热步数: 1000
训练轮数: 100.0
混合精度训练: 原生AMP

训练结果

训练损失	轮次	步数	验证损失	词错误率
无记录	3.15	1000	0.5203	0.4333
1.4284	6.31	2000	0.4816	0.3951
1.4284	9.46	3000	0.4315	0.3546
1.283	12.62	4000	0.4278	0.3404
1.283	15.77	5000	0.4090	0.3054
1.1777	18.93	6000	0.3893	0.3006
1.1777	22.08	7000	0.3968	0.2857
1.0994	25.24	8000	0.3892	0.2751
1.0994	28.39	9000	0.4061	0.2690
1.0323	31.54	10000	0.4114	0.2507
1.0323	34.7	11000	0.4021	0.2508
0.9623	37.85	12000	0.4032	0.2378
0.9623	41.01	13000	0.4148	0.2374
0.9077	44.16	14000	0.4350	0.2323
0.9077	47.32	15000	0.4515	0.2246
0.8573	50.47	16000	0.4474	0.2180
0.8573	53.63	17000	0.4649	0.2171
0.8083	56.78	18000	0.4455	0.2102
0.8083	59.94	19000	0.4587	0.2092
0.769	63.09	20000	0.4794	0.2012
0.769	66.25	21000	0.4845	0.2007
0.7308	69.4	22000	0.4937	0.2008
0.7308	72.55	23000	0.4920	0.1895
0.6927	75.71	24000	0.5179	0.1911
0.6927	78.86	25000	0.5202	0.1877
0.6622	82.02	26000	0.5266	0.1840
0.6622	85.17	27000	0.5351	0.1854
0.6315	88.33	28000	0.5373	0.1811
0.6315	91.48	29000	0.5331	0.1792
0.6075	94.64	30000	0.5390	0.1779
0.6075	97.79	31000	0.5459	0.1773

二次训练

训练过程中使用了以下超参数:

学习率: 0.0003
训练批次大小: 8
评估批次大小: 8
随机种子: 42
分布式类型: 多GPU
设备数量: 2
梯度累积步数: 4
总训练批次大小: 64
总评估批次大小: 16
优化器: Adam (β1=0.9, β2=0.999, ε=1e-08)
学习率调度器类型: 线性
学习率预热步数: 1000
训练轮数: 60.0
混合精度训练: 原生AMP

训练结果

训练损失	轮次	步数	验证损失	词错误率
无记录	0.7	1000	0.5371	0.3811
1.3606	1.41	2000	0.5247	0.3902
1.3606	2.12	3000	0.5126	0.3859
1.3671	2.82	4000	0.5062	0.3828
1.3671	3.53	5000	0.4979	0.3672
1.3421	4.23	6000	0.4906	0.3816
1.3421	4.94	7000	0.4784	0.3651
1.328	5.64	8000	0.4810	0.3669
1.328	6.35	9000	0.4747	0.3597
1.3109	7.05	10000	0.4813	0.3808
1.3109	7.76	11000	0.4631	0.3561
1.2873	8.46	12000	0.4603	0.3431
1.2873	9.17	13000	0.4579	0.3533
1.2661	9.87	14000	0.4471	0.3365
1.2661	10.58	15000	0.4584	0.3437
1.249	11.28	16000	0.4461	0.3454
1.249	11.99	17000	0.4482	0.3367
1.2322	12.69	18000	0.4464	0.3335
1.2322	13.4	19000	0.4427	0.3454
1.22	14.1	20000	0.4440	0.3395
1.22	14.81	21000	0.4459	0.3378
1.2044	15.51	22000	0.4406	0.3199
1.2044	16.22	23000	0.4398	0.3155
1.1913	16.92	24000	0.4237	0.3150
1.1913	17.63	25000	0.4287	0.3279
1.1705	18.34	26000	0.4253	0.3103
1.1705	19.04	27000	0.4234	0.3098
1.1564	19.75	28000	0.4174	0.3076
1.1564	20.45	29000	0.4260	0.3160
1.1461	21.16	30000	0.4235	0.3036
1.1461	21.86	31000	0.4309	0.3055
1.1285	22.57	32000	0.4264	0.3006
1.1285	23.27	33000	0.4201	0.2880
1.1135	23.98	34000	0.4131	0.2975
1.1135	24.68	35000	0.420