许可证：apache-2.0
语言：土耳其语
标签：

• 自动语音识别
• common_voice
• hf-asr-leaderboard
• mozilla-foundation/common_voice_8_0
• robust-speech-event
• tr

数据集：

• mozilla-foundation/common_voice_8_0

模型索引：

• 名称：mpoyraz/wav2vec2-xls-r-300m-cv8-turkish
  结果：
  • 任务：
    名称：自动语音识别
    类型：automatic-speech-recognition
    数据集：
    名称：Common Voice 8
    类型：mozilla-foundation/common_voice_8_0
    参数：tr
    指标：
    • 名称：测试WER
      类型：wer
      值：10.61
    • 名称：测试CER
      类型：cer
      值：2.67
  • 任务：
    名称：自动语音识别
    类型：automatic-speech-recognition
    数据集：
    名称：Robust Speech Event - 开发数据
    类型：speech-recognition-community-v2/dev_data
    参数：tr
    指标：
    • 名称：测试WER
      类型：wer
      值：36.46
    • 名称：测试CER
      类型：cer
      值：12.38
  • 任务：
    名称：自动语音识别
    类型：automatic-speech-recognition
    数据集：
    名称：Robust Speech Event - 测试数据
    类型：speech-recognition-community-v2/eval_data
    参数：tr
    指标：
    • 名称：测试WER
      类型：wer
      值：40.91

wav2vec2-xls-r-300m-cv8-turkish

模型描述

该自动语音识别模型是基于facebook/wav2vec2-xls-r-300m针对土耳其语微调的版本。

训练与评估数据

微调使用了以下数据集：

• Common Voice 8.0 TR：训练时排除了test分割，其余validated分割数据均用于训练。

训练流程

为支持上述数据集，执行了自定义预处理和加载步骤，并使用了wav2vec2-turkish代码库实现相关功能。

训练超参数

微调采用以下超参数：

• 学习率：2.5e-4
• 训练轮次：20
• 预热步数：500
• 冻结特征提取器
• 时间掩码概率：0.1
• 特征掩码概率：0.1
• 特征投影丢弃率：0.05
• 注意力丢弃率：0.05
• 最终丢弃率：0.1
• 激活丢弃率：0.05
• 单设备训练批大小：8
• 单设备评估批大小：8
• 梯度累积步数：8

框架版本

• Transformers：4.17.0.dev0
• Pytorch：1.10.1
• Datasets：1.17.0
• Tokenizers：0.10.3

语言模型

基于土耳其语维基百科文章训练了N-gram语言模型，使用KenLM工具，并通过ngram-lm-wiki代码库生成arpa格式语言模型并转换为二进制格式。

评估命令

运行评估前请安装unicode_tr包，用于土耳其语文本处理。

1. 在mozilla-foundation/common_voice_8_0的test分割上评估：

python eval.py --model_id mpoyraz/wav2vec2-xls-r-300m-cv8-turkish --dataset mozilla-foundation/common_voice_8_0 --config tr --split test  

2. 在speech-recognition-community-v2/dev_data上评估：

python eval.py --model_id mpoyraz/wav2vec2-xls-r-300m-cv8-turkish --dataset speech-recognition-community-v2/dev_data --config tr --split validation --chunk_length_s 5.0 --stride_length_s 1.0  

评估结果：