Wav2vec2 Xls R 300m Cv8 Turkish

由 Baybars 开发

这是一个基于Facebook的wav2vec2-xls-r-300m模型在土耳其语Common Voice 8数据集上微调的自动语音识别(ASR)模型。

语音识别

Transformers

其他

开源协议:Apache-2.0 #土耳其语语音识别 #低词错误率 #Common Voice微调

下载量 16

发布时间 : 3/2/2022

模型介绍

内容详情

替代品

模型简介

该模型专门用于土耳其语的语音识别任务，在Common Voice 8数据集上训练，并取得了较好的词错误率和字符错误率表现。

模型特点

高性能土耳其语识别

在Common Voice测试集上取得了30.98%的词错误率和7.64%的字符错误率

基于大规模预训练模型

基于Facebook的wav2vec2-xls-r-300m模型微调，具有强大的语音特征提取能力

结合N-gram语言模型

使用土耳其语维基百科训练的N-gram语言模型进行解码，提高识别准确率

模型能力

土耳其语语音识别

长音频处理(支持分块处理)

高准确率字符级识别

使用案例

语音转文字

土耳其语语音转录

将土耳其语语音内容转换为文字

在Common Voice测试集上WER 30.98%

语音助手

土耳其语语音指令识别

用于土耳其语语音助手系统的语音指令识别

语言:

tr 许可证: apache-2.0 标签:
自动语音识别
common_voice
训练器生成
hf-asr排行榜
鲁棒语音事件
tr 数据集:
common_voice 模型索引:
名称: '' 结果: []

该模型是基于facebook/wav2vec2-xls-r-300m在COMMON_VOICE - TR数据集上微调的版本。在评估集上取得了以下结果:

损失: 0.4164
词错误率(WER): 0.3098
字符错误率(CER): 0.0764

模型描述

需要更多信息

预期用途与限制

需要更多信息

训练与评估数据

需要更多信息

语言模型

N-gram语言模型由mpoyraz基于土耳其语维基百科文章使用KenLM训练，并利用ngram-lm-wiki仓库生成arpa语言模型并转换为二进制格式。

训练过程

训练超参数

训练过程中使用了以下超参数:

学习率: 0.0005
训练批次大小: 64
评估批次大小: 8
随机种子: 42
优化器: Adam，参数β=(0.9,0.999)，ε=1e-08
学习率调度器类型: 线性
学习率预热步数: 500
训练轮数: 100.0
混合精度训练: 原生AMP

训练结果

训练损失	轮次	步数	验证损失	WER	CER
0.6356	9.09	500	0.5055	0.5536	0.1381
0.3847	18.18	1000	0.4002	0.4247	0.1065
0.3377	27.27	1500	0.4193	0.4167	0.1078
0.2175	36.36	2000	0.4351	0.3861	0.0974
0.2074	45.45	2500	0.3962	0.3622	0.0916
0.159	54.55	3000	0.4062	0.3526	0.0888
0.1882	63.64	3500	0.3991	0.3445	0.0850
0.1766	72.73	4000	0.4214	0.3396	0.0847
0.116	81.82	4500	0.4182	0.3265	0.0812
0.0718	90.91	5000	0.4259	0.3191	0.0781
0.019	100.0	5500	0.4164	0.3098	0.0764

评估命令

运行评估前请先安装unicode_tr包，该包用于土耳其语文本处理。

在mozilla-foundation/common_voice_7_0数据集的test分割上进行评估

python eval.py --model_id Baybars/wav2vec2-xls-r-300m-cv8-turkish --dataset mozilla-foundation/common_voice_8_0 --config tr --split test

在speech-recognition-community-v2/dev_data数据集上进行评估

python eval.py --model_id Baybars/wav2vec2-xls-r-300m-cv8-turkish --dataset speech-recognition-community-v2/dev_data --config tr --split validation --chunk_length_s 5.0 --stride_length_s 1.0