基础模型: facebook/w2v-bert-2.0
许可证: mit
评估指标:

• 词错误率(wer)

模型索引:

• 名称: W2V2-BERT-withLM-马拉雅拉姆语 (由Bajiyo Baiju, Kavya Manohar开发)
  成果:
  • 任务:
    类型: 自动语音识别
    名称: 自动语音识别
    数据集:
    名称: OpenSLR马拉雅拉姆语-测试集
    类型: vrclc/openslr63
    配置: ml
    拆分: test
    参数: ml
    指标:
    • 类型: wer
      值: 18.23
      名称: 词错误率
  • 任务:
    类型: 自动语音识别
    名称: 自动语音识别
    数据集:
    名称: Google Fleurs
    类型: google/fleurs
    配置: ml
    拆分: test
    参数: ml
    指标:
    • 类型: wer
      值: 31.92
      名称: 词错误率
  • 任务:
    类型: 自动语音识别
    名称: 自动语音识别
    数据集:
    名称: Mozilla Common Voice
    类型: mozilla-foundation/common_voice_16_1
    配置: ml
    拆分: test
    参数: ml
    指标:
    • 类型: wer
      值: 49.79
      名称: 词错误率

数据集:

• vrclc/festvox-iiith-ml
• vrclc/openslr63
• vrclc/imasc_slr
• mozilla-foundation/common_voice_17_0
• smcproject/MSC
• kavyamanohar/ml-sentences
• thennal/IMaSC

语言:

• ml (马拉雅拉姆语)

管道标签: 自动语音识别

W2V2-BERT-withLM-马拉雅拉姆语

本模型是基于facebook/w2v-bert-2.0在IMaSC、MSC、OpenSLR马拉雅拉姆语训练集、Festvox马拉雅拉姆语、CV16等数据集上微调得到的版本。

在验证集OpenSLR-测试集上取得以下结果:

• 损失值: 0.1722
• 词错误率: 0.1299

使用KENLM库在kavyamanohar/ml-sentences数据集上训练的三元语言模型

模型描述

需补充更多信息

使用范围与限制

需补充更多信息

训练与评估数据

需补充更多信息

训练过程

训练超参数

训练过程中使用以下超参数:

• 学习率: 5e-05
• 训练批次大小: 16
• 评估批次大小: 8
• 随机种子: 42
• 梯度累积步数: 2
• 总训练批次大小: 32
• 优化器: 带betas=(0.9,0.999)和epsilon=1e-08的Adam
• 学习率调度器类型: 线性
• 学习率预热步数: 500
• 训练轮次: 10
• 混合精度训练: 原生AMP

训练结果

框架版本

• Transformers 4.39.3
• Pytorch 2.1.1+cu121
• Datasets 2.16.1
• Tokenizers 0.15.1