标签:

• 模型中心混合
• PyTorch模型中心混合 许可证: bsd-3-clause 语言:
• 英语 评估指标:
• 准确率 基础模型:
• openai/whisper-large-v3 管道标签: 音频分类 数据集:
• mozilla-foundation/common_voice_11_0

Whisper-Large广泛口音分类模型

模型描述

该模型实现了《Vox-Profile: 用于表征多样化说话者与语音特征的语音基础模型基准》中描述的广泛口音分类方法（论文链接：https://arxiv.org/pdf/2505.14648）

包含的英语口音类别为：

['不列颠群岛', '北美地区', '其他']

• 代码库：https://github.com/tiantiaf0627/vox-profile-release

使用方法

下载代码库

git clone git@github.com:tiantiaf0627/vox-profile-release.git

安装依赖包

conda create -n vox_profile python=3.8
cd vox-profile-release
pip install -e .

加载模型

# 导入库
import torch
import torch.nn.functional as F
from src.model.accent.whisper_accent import WhisperWrapper

# 检测设备
device = torch.device("cuda") if torch.cuda.is_available() else "cpu"

# 从Huggingface加载模型
model = WhisperWrapper.from_pretrained("tiantiaf/whisper-large-v3-broad-accent").to(device)
model.eval()

执行预测

# 标签列表
english_accent_list = [
    '不列颠群岛', '北美地区', '其他'
]
    
# 加载音频数据（此处以零值示例）
# 注意：训练时过滤了短于3秒（预测不可靠）和超过15秒（计算限制）的音频
# 因此需确保输入音频最长15秒，16kHz采样率，单声道
max_audio_length = 15 * 16000
data = torch.zeros([1, 16000]).float().to(device)[:, :max_audio_length]
logits, embeddings = model(data, return_feature=True)
    
# 计算概率并输出结果
accent_prob = F.softmax(logits, dim=1)
print(english_accent_list[torch.argmax(accent_prob).detach().cpu().item()])

如有疑问，请联系：冯甜甜（tiantiaf@usc.edu）