Wav2vec2 Xls R 300m Bp1 Es Eu

由 gttsehu 开发

基于facebook/wav2vec2-xls-r-300m微调的巴斯克语自动语音识别模型，在巴斯克议会数据集上取得3.67%的词错误率

语音识别

Transformers

开源协议:Apache-2.0 #巴斯克语语音识别 #议会场景优化 #低词错误率

下载量 49

发布时间 : 1/5/2024

模型介绍

内容详情

替代品

模型简介

这是一个针对巴斯克议会场景优化的自动语音识别模型，基于XLS-R架构，特别适用于巴斯克语的政治演讲和会议记录场景。

模型特点

低词错误率

在巴斯克议会数据集上仅3.67%的词错误率，表现优异

多GPU优化

采用4GPU分布式训练，支持高效的大规模数据处理

领域适配

专门针对政治演讲场景优化，适应议会会议的特殊词汇和表达方式

模型能力

巴斯克语语音转文本

会议记录自动生成

政治演讲识别

使用案例

政府会议记录

议会会议自动记录

自动转录巴斯克议会会议内容，生成文字记录

准确率达96.33%（WER 3.67%）

语音档案数字化

历史会议录音转录

将存储的巴斯克议会历史录音转换为可搜索文本

许可证：apache-2.0
基础模型：facebook/wav2vec2-xls-r-300m
标签：

自动语音识别
gttsehu/basque_parliament_1
训练生成
评估指标：
词错误率（wer）

模型索引：

名称：facebook/wav2vec2-xls-r-300m
结果：[]

数据集：

gttsehu/basque_parliament_1

facebook/wav2vec2-xls-r-300m

本工作部分由西班牙科学与创新部资助（OPENSPEECH项目，PID2019-106424RB-I00）。

此模型是在GTTSEHU/BASQUE_PARLIAMENT_1 - NA数据集上对facebook/wav2vec2-xls-r-300m进行微调的版本。在评估集上取得了以下结果：

损失：0.0846
词错误率（Wer）：0.0367
字符错误率（Cer）：0.0132

模型描述

需补充更多信息

预期用途与限制

需补充更多信息

训练与评估数据

需补充更多信息

训练过程

训练超参数

训练过程中使用了以下超参数：

学习率：0.0001
训练批次大小：4
评估批次大小：4
随机种子：42
分布式类型：多GPU
设备数量：4
梯度累积步数：2
总训练批次大小：32
总评估批次大小：16
优化器：Adam（beta=(0.9,0.999)，epsilon=1e-08）
学习率调度器类型：线性
学习率预热步数：1000
训练轮次：6.0
混合精度训练：原生AMP

训练结果

训练损失	轮次	步数	验证损失	词错误率（Wer）	字符错误率（Cer）
0.7054	0.19	4000	0.1011	0.0871	0.0227
0.0856	0.39	8000	0.0995	0.0747	0.0207
0.075	0.58	12000	0.0868	0.0647	0.0185
0.0694	0.77	16000	0.0853	0.0619	0.0183
0.0658	0.97	20000	0.0778	0.0573	0.0171
0.0589	1.16	24000	0.0821	0.0546	0.0166
0.0572	1.35	28000	0.0827	0.0558	0.0170
0.0551	1.55	32000	0.0830	0.0533	0.0169
0.054	1.74	36000	0.0788	0.0512	0.0162
0.0524	1.93	40000	0.0783	0.0489	0.0156
0.048	2.13	44000	0.0861	0.0492	0.0160
0.046	2.32	48000	0.0763	0.0494	0.0154
0.0456	2.51	52000	0.0835	0.0471	0.0153
0.0439	2.71	56000	0.0790	0.0469	0.0152
0.0436	2.9	60000	0.0832	0.0472	0.0155
0.0406	3.09	64000	0.0810	0.0442	0.0148
0.0386	3.29	68000	0.0810	0.0436	0.0146
0.038	3.48	72000	0.0778	0.0430	0.0143
0.0373	3.67	76000	0.0785	0.0430	0.0144
0.0363	3.87	80000	0.0788	0.0421	0.0144
0.0348	4.06	84000	0.0823	0.0423	0.0144
0.0323	4.25	88000	0.0819	0.0407	0.0143
0.0319	4.45	92000	0.0809	0.0410	0.0142
0.0314	4.64	96000	0.0821	0.0400	0.0138
0.0306	4.83	100000	0.0813	0.0389	0.0137
0.0295	5.03	104000	0.0820	0.0377	0.0131
0.0275	5.22	108000	0.0866	0.0378	0.0137
0.0267	5.41	112000	0.0831	0.0376	0.0134
0.0264	5.61	116000	0.0845	0.0369	0.0132
0.0258	5.8	120000	0.0859	0.0370	0.0133
0.0254	6.0	124000	0.0846	0.0367	0.0132