Wav2vec2 Base Speech Emotion Recognition

由 DunnBC22 开发

基于facebook/wav2vec2-base微调的语音情感识别模型，用于预测音频样本中说话者的情感。

音频分类

Transformers

英语

开源协议:Apache-2.0 #语音情感分析 #英语语音处理 #wav2vec2微调

下载量 128

发布时间 : 4/17/2023

模型介绍

内容详情

替代品

模型简介

该模型通过分析语音信号来识别说话者的情感状态，适用于情感分析、人机交互等场景。

模型特点

高准确率

在评估集上达到75.39%的准确率，能够有效识别多种情感状态。

多指标优化

同时优化F1值、召回率和精确率等多项指标，确保模型性能均衡。

基于wav2vec2

基于facebook/wav2vec2-base微调，继承了其强大的语音特征提取能力。

模型能力

语音情感识别

音频分类

情感分析

使用案例

人机交互

智能客服情感分析

用于分析客户语音中的情感状态，提升客服服务质量。

心理健康

情感状态监测

通过语音分析用户的情感变化，用于心理健康辅助诊断。

许可证：apache-2.0
标签：

训练生成
数据集：
音频文件夹
评估指标：
准确率
F1值
召回率
精确率

模型索引：

名称：wav2vec2-base-语音情感识别
结果：[]
语言：
英语
管道标签：音频分类

wav2vec2-base-语音情感识别

该模型是基于facebook/wav2vec2-base微调后的版本。

在评估集上取得了以下结果：

损失：0.7264
准确率：0.7539
F1值
- 加权：0.7514
- 微平均：0.7539
- 宏平均：0.7529
召回率
- 加权：0.7539
- 微平均：0.7539
- 宏平均：0.7577
精确率
- 加权：0.7565
- 微平均：0.7539
- 宏平均：0.7558

模型描述

该模型用于预测音频样本中说话者的情感。

关于其创建过程的更多信息，请查看以下链接：
https://github.com/DunnBC22/Vision_Audio_and_Multimodal_Projects/tree/main/Audio-Projects/Emotion%20Detection/Speech%20Emotion%20Detection

预期用途与限制

此模型旨在展示我运用技术解决复杂问题的能力。

训练与评估数据

数据集来源：https://www.kaggle.com/datasets/dmitrybabko/speech-emotion-recognition-en

训练过程

训练超参数

训练过程中使用了以下超参数：

学习率：3e-05
训练批次大小：32
评估批次大小：32
随机种子：42
梯度累积步数：4
总训练批次大小：128
优化器：Adam（beta1=0.9，beta2=0.999，epsilon=1e-08）
学习率调度器类型：线性
学习率预热比例：0.1
训练轮次：10

训练结果

训练损失	轮次	步数	验证损失	准确率	加权F1	微平均F1	宏平均F1	加权召回率	微平均召回率	宏平均召回率	加权精确率	微平均精确率	宏平均精确率
1.5581	0.98	43	1.4046	0.4653	0.4080	0.4653	0.4174	0.4653	0.4653	0.4793	0.5008	0.4653	0.4974
1.5581	1.98	86	1.1566	0.5997	0.5836	0.5997	0.5871	0.5997	0.5997	0.6093	0.6248	0.5997	0.6209
1.5581	2.98	129	0.9733	0.6883	0.6845	0.6883	0.6860	0.6883	0.6883	0.6923	0.7012	0.6883	0.7009
1.5581	3.98	172	0.8313	0.7399	0.7392	0.7399	0.7409	0.7399	0.7399	0.7417	0.7415	0.7399	0.7432
1.5581	4.98	215	0.8708	0.7028	0.6963	0.7028	0.6970	0.7028	0.7028	0.7081	0.7148	0.7028	0.7114
1.5581	5.98	258	0.7969	0.7297	0.7267	0.7297	0.7277	0.7297	0.7297	0.7333	0.7393	0.7297	0.7382
1.5581	6.98	301	0.7349	0.7603	0.7613	0.7603	0.7631	0.7603	0.7603	0.7635	0.7699	0.7603	0.7702
1.5581	7.98	344	0.7714	0.7469	0.7444	0.7469	0.7456	0.7469	0.7469	0.7485	0.7554	0.7469	0.7563
1.5581	8.98	387	0.7183	0.7630	0.7615	0.7630	0.7631	0.7630	0.7630	0.7652	0.7626	0.7630	0.7637
1.5581	9.98	430	0.7264	0.7539	0.7514	0.7539	0.7529	0.7539	0.7539	0.7577	0.7565	0.7539	0.7558