🚀 SER_wav2vec2-large-xlsr-53_240304_fine-tuned_2

本模型是在hughlan1214/SER_wav2vec2-large-xlsr-53_240304_fine-tuned1.1基础上，针对语音情感识别（英语）数据集进行微调得到的版本。该数据集涵盖了英语领域最常用的4个数据集：Crema、Ravdess、Savee和Tess，总计包含超过12000个.wav音频文件。这四个数据集中的每一个都包含6到8种不同的情感标签。该模型在评估集上取得了以下成绩：

• 损失值：1.0601
• 准确率：0.6731
• 精确率：0.6761
• 召回率：0.6794
• F1值：0.6738

✨ 主要特性

• 跨语言能力强：尽管模型是基于纯英文数据集进行训练的，但发布后的测试表明，它在预测中文和法语语音情感方面也表现出色，展现了facebook/wav2vec2-large-xlsr-53预训练模型强大的跨语言能力。
• 多情感预测：能够预测语音中包含的7种情感类型，为后续结合视觉层面的人类微表情以及大语言模型（LLMS）下的上下文语义实时推断用户情感奠定了基础。

📚 详细文档

模型描述

该模型通过使用facebook/wav2vec2-large-xlsr-53进行特征提取，并经过多轮微调得到。它旨在预测语音中包含的7种情感，为后续在视觉层面利用人类微表情以及在大语言模型（LLMS）下结合上下文语义实时推断用户情感奠定基础。

emotions = ['angry', 'disgust', 'fear', 'happy', 'neutral', 'sad', 'surprise']

预期用途和局限性

更多信息待补充。

训练和评估数据

使用整个数据集的70%进行训练，30%进行评估。

训练过程

训练超参数

训练期间使用了以下超参数：

• 学习率：5e-05
• 训练批次大小：8
• 评估批次大小：4
• 随机种子：42
• 优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 学习率调度器类型：余弦
• 学习率调度器预热比例：0.1
• 训练轮数：10

训练结果

框架版本

• Transformers 4.38.1
• Pytorch 2.2.1
• Datasets 2.17.1
• Tokenizers 0.15.2

📄 许可证

本模型采用Apache-2.0许可证。