许可协议: MIT
语言:

• 英语
  任务标签: 音频分类
  标签:
• wavlm
• msp-podcast
• 情绪识别
• 音频
• 语音
• 支配度
• lucas
• 语音情绪识别

该模型基于MSP-Podcast数据集训练，作为Odyssey 2024情绪识别竞赛的基线模型。
此特定模型为单任务专用支配度预测模型，预测范围约为0...1。

基准测试

基于Odyssey竞赛Test3和开发集的CCC指标

更多详情请参阅: 演示、论文及GitHub。

@InProceedings{Goncalves_2024,
            作者={L. Goncalves等},
            标题={Odyssey2024语音情绪识别挑战赛：数据集、基线框架与结果},
            会议名称={Odyssey 2024: 说话人与语言识别研讨会},
            卷次={待刊},
            年份={2024},
            月份={6月},
            地址={加拿大魁北克},
}

使用方式

from transformers import AutoModelForAudioClassification
import librosa, torch

# 加载模型
model = AutoModelForAudioClassification.from_pretrained("3loi/SER-Odyssey-Baseline-WavLM-Dominance", trust_remote_code=True)

# 获取均值/标准差
mean = model.config.mean
std = model.config.std

# 加载音频文件
audio_path = "/路径/至/音频.wav"
raw_wav, _ = librosa.load(audio_path, sr=model.config.sampling_rate)

# 标准化音频
norm_wav = (raw_wav - mean) / (std+0.000001)

# 生成掩码
mask = torch.ones(1, len(norm_wav))

# 批处理（增加维度）
wavs = torch.tensor(norm_wav).unsqueeze(0)

# 预测
with torch.no_grad():
    pred = model(wavs, mask)

print(model.config.id2label) 
print(pred)
# 输出: {0: '支配度'}
# 输出: tensor([[0.3670]])