语言:

• 孟加拉语(bn)

许可协议:

• Apache-2.0

标签:

• 自动语音识别
• 孟加拉语
• HF-ASR排行榜
• OpenSLR_SLR53数据集
• 鲁棒语音赛事

数据集:

• OpenSLR
• SLR53
• AI4Bharat/IndicCorp语料库

评估指标:

• 词错误率(WER)
• 字错误率(CER)

模型索引:

• 名称: arijitx/wav2vec2-xls-r-300m-bengali 结果:
  • 任务类型: 自动语音识别 任务名称: 语音识别 数据集类型: openslr 数据集名称: Open SLR 参数: SLR53 评估指标:
    • 类型: WER 值: 0.21726385291857586 名称: 测试集词错误率
    • 类型: CER 值: 0.04725010353701041 名称: 测试集字错误率
    • 类型: WER 值: 0.15322879016421437 名称: 带语言模型的测试WER
    • 类型: CER 值: 0.03413696666806267 名称: 带语言模型的测试CER

该模型是基于OPENSLR_SLR53孟加拉语数据集对facebook/wav2vec2-xls-r-300m进行微调的版本，在评估集上取得如下结果：

未使用语言模型时：

• 词错误率(WER): 0.217
• 字错误率(CER): 0.047

使用基于AI4Bharat IndicCorp数据集随机选取3000万句子训练的5-gram语言模型时：

• 词错误率(WER): 0.153
• 字错误率(CER): 0.034

注：评估使用了总10935个样本中的5%。训练集为前95%数据，评估集为后5%数据。训练在18万步后停止。预测结果可在文件区查看。

训练超参数

关键配置参数：

• 数据集名称="openslr"
• 基础模型="facebook/wav2vec2-xls-r-300m"
• 批次大小=32
• 学习率=7.5e-5
• 训练轮次=50
• 音频时间掩码概率=0.75
• 特征掩码概率=0.25
• 预处理线程数=32

框架版本

• Transformers 4.16.0.dev0
• PyTorch 1.10.1+cu102
• Datasets 1.17.1.dev0
• Tokenizers 0.11.0

技术说明：

1. 代码修改自HuggingFace鲁棒语音赛事项目
2. 因Common Voice和LibriSpeech多语种数据缺乏孟加拉语，故采用OpenSLR53数据集
3. 训练数据过滤了时长短于0.5秒的样本（约10-20条）
4. OpenSLR53的转写文本未用于语言模型训练