🚀 sew-d-small-100k-timit
该模型是 asapp/sew-d-small-100k 在 TIMIT_ASR - NA 数据集上的微调版本。它在评估集上取得了以下结果:
- 损失值:1.7541
- 字错率(Wer):0.8061
🚀 快速开始
本模型是在特定数据集上微调得到的语音识别模型,可用于自动语音识别相关任务。
📄 许可证
本项目采用 Apache-2.0 许可证。
🔧 技术细节
训练超参数
训练过程中使用了以下超参数:
- 学习率(learning_rate):0.0001
- 训练批次大小(train_batch_size):32
- 评估批次大小(eval_batch_size):1
- 随机种子(seed):42
- 优化器(optimizer):Adam,其中 betas=(0.9,0.999),epsilon=1e-08
- 学习率调度器类型(lr_scheduler_type):线性
- 学习率调度器热身步数(lr_scheduler_warmup_steps):1000
- 训练轮数(num_epochs):20.0
- 混合精度训练(mixed_precision_training):Native AMP
训练结果
训练损失 |
轮数 |
步数 |
验证损失 |
字错率(Wer) |
4.2068 |
0.69 |
100 |
4.0802 |
1.0 |
2.9805 |
1.38 |
200 |
2.9792 |
1.0 |
2.9781 |
2.07 |
300 |
2.9408 |
1.0 |
2.9655 |
2.76 |
400 |
2.9143 |
1.0 |
2.8953 |
3.45 |
500 |
2.8775 |
1.0 |
2.7718 |
4.14 |
600 |
2.7787 |
1.0 |
2.6711 |
4.83 |
700 |
2.6401 |
0.9786 |
2.6403 |
5.52 |
800 |
2.5435 |
1.0392 |
2.4052 |
6.21 |
900 |
2.4580 |
1.0706 |
2.1708 |
6.9 |
1000 |
2.2800 |
1.0090 |
2.2555 |
7.59 |
1100 |
2.1493 |
0.9579 |
2.3673 |
8.28 |
1200 |
2.0709 |
0.9051 |
2.091 |
8.97 |
1300 |
2.0258 |
0.8926 |
1.8433 |
9.66 |
1400 |
1.9645 |
0.8243 |
1.6824 |
10.34 |
1500 |
1.9211 |
0.8707 |
2.2282 |
11.03 |
1600 |
1.8914 |
0.8695 |
1.9027 |
11.72 |
1700 |
1.8718 |
0.8343 |
1.6303 |
12.41 |
1800 |
1.8646 |
0.8232 |
1.648 |
13.1 |
1900 |
1.8297 |
0.8177 |
2.0429 |
13.79 |
2000 |
1.8127 |
0.8642 |
1.8833 |
14.48 |
2100 |
1.8005 |
0.8307 |
1.5996 |
15.17 |
2200 |
1.7926 |
0.8467 |
1.4876 |
15.86 |
2300 |
1.7795 |
0.8341 |
1.8925 |
16.55 |
2400 |
1.7716 |
0.8199 |
1.814 |
17.24 |
2500 |
1.7846 |
0.8086 |
1.536 |
17.93 |
2600 |
1.7655 |
0.8019 |
1.4476 |
18.62 |
2700 |
1.7599 |
0.8070 |
1.7629 |
19.31 |
2800 |
1.7589 |
0.8119 |
1.7646 |
20.0 |
2900 |
1.7541 |
0.8061 |
框架版本
- Transformers 4.12.0.dev0
- Pytorch 1.8.1
- Datasets 1.14.1.dev0
- Tokenizers 0.10.3
📋 信息表格
属性 |
详情 |
模型类型 |
自动语音识别模型 |
训练数据 |
TIMIT_ASR 数据集 |