许可协议: MIT
语言:

• 英语
  任务标签: 音频分类
  标签:
• wavlm
• msp-podcast
• 情绪识别
• 音频
• 语音
• 分类模型
• lucas
• 语音情绪识别

该模型基于MSP-Podcast数据集训练，作为Odyssey 2024情绪识别竞赛的基线模型。
此特定模型为分类模型，可预测以下情绪类别："愤怒"、"悲伤"、"快乐"、"惊讶"、"恐惧"、"厌恶"、"轻蔑"和"中性"。

基准测试

基于Odyssey竞赛Test3和开发集的F1分数

更多详情请参阅: 演示、论文和GitHub。

@InProceedings{Goncalves_2024,  
            author={L. Goncalves and A. N. Salman and A. {Reddy Naini} and L. Moro-Velazquez and T. Thebaud and L. {Paola Garcia} and N. Dehak and B. Sisman and C. Busso},  
            title={Odyssey2024 - 语音情绪识别挑战赛：数据集、基线框架与结果},  
            booktitle={Odyssey 2024: 说话人与语言识别研讨会)},  
            volume={待刊},  
            year={2024},  
            month={6月},  
            address = {加拿大魁北克},  
}

使用方式

from transformers import AutoModelForAudioClassification  
import librosa, torch  

# 加载模型  
model = AutoModelForAudioClassification.from_pretrained("3loi/SER-Odyssey-Baseline-WavLM-Categorical-Attributes", trust_remote_code=True)  

# 获取均值/标准差  
mean = model.config.mean  
std = model.config.std  

# 加载音频文件  
audio_path = "/路径/音频.wav"  
raw_wav, _ = librosa.load(audio_path, sr=model.config.sampling_rate)  

# 标准化音频（均值/标准差归一化）  
norm_wav = (raw_wav - mean) / (std+0.000001)  

# 生成掩码  
mask = torch.ones(1, len(norm_wav))  

# 批处理（增加维度）  
wavs = torch.tensor(norm_wav).unsqueeze(0)  

# 预测  
with torch.no_grad():  
    pred = model(wavs, mask)  

print(model.config.id2label)    
print(pred)  
# 输出标签映射: {0: '愤怒', 1: '悲伤', 2: '快乐', 3: '惊讶', 4: '恐惧', 5: '厌恶', 6: '轻蔑', 7: '中性'}  
# 原始预测值示例: tensor([[0.0015, 0.3651, 0.0593, 0.0315, 0.0600, 0.0125, 0.0319, 0.4382]])  

# 将logits转换为概率  
probabilities = torch.nn.functional.softmax(pred, dim=1)  
print(probabilities)  
# 概率输出示例: [[0.0015, 0.3651, 0.0593, 0.0315, 0.0600, 0.0125, 0.0319, 0.4382]]