🚀 wav2vec2-xls-r-300m-cv6-turkish

该自动语音识别（ASR）模型解决了在土耳其语语音识别场景下的准确性问题，基于预训练模型进行微调，能有效提升对土耳其语语音的识别能力，为相关语音应用提供了有力支持。

🚀 快速开始

本模型是 facebook/wav2vec2-xls-r-300m 在土耳其语上的微调版本。

✨ 主要特性

• 基于预训练模型微调，适配土耳其语语音识别。
• 支持多数据集训练，提升模型泛化能力。
• 训练过程使用了自定义的预处理和加载步骤。

📦 安装指南

在运行评估之前，请安装 unicode_tr 包，用于土耳其语文本处理。

💻 使用示例

基础用法

以下是在 common_voice 测试集上进行评估的命令：

python eval.py --model_id mpoyraz/wav2vec2-xls-r-300m-cv6-turkish --dataset common_voice --config tr --split test

高级用法

在 speech-recognition-community-v2/dev_data 数据集上进行评估：

python eval.py --model_id mpoyraz/wav2vec2-xls-r-300m-cv6-turkish --dataset speech-recognition-community-v2/dev_data --config tr --split validation --chunk_length_s 5.0 --stride_length_s 1.0

📚 详细文档

训练和评估数据

以下数据集用于微调：

• Common Voice 6.1 TR 除测试集外的所有 validated 分割数据用于训练。
• MediaSpeech

训练过程

为了支持上述两个数据集，执行了自定义的预处理和加载步骤，并使用 wav2vec2-turkish 仓库实现此目的。

训练超参数

以下超参数用于微调：

• 学习率：2e-4
• 训练轮数：10
• 热身步数：500
• 冻结特征提取器
• 时间掩码概率：0.1
• 特征掩码概率：0.1
• 特征投影丢弃率：0.05
• 注意力丢弃率：0.05
• 最终丢弃率：0.1
• 激活丢弃率：0.05
• 每个设备的训练批次大小：8
• 每个设备的评估批次大小：8
• 梯度累积步数：8

框架版本

• Transformers：4.17.0.dev0
• Pytorch：1.10.1
• Datasets：1.18.3
• Tokenizers：0.10.3

语言模型

使用 KenLM 在土耳其语维基百科文章上训练了 N-gram 语言模型，并使用 ngram-lm-wiki 仓库生成 arpa 语言模型并将其转换为二进制格式。

评估结果

📄 许可证

本项目采用 Apache-2.0 许可证。