标签:

• 模型中心混合
• PyTorch模型中心混合
• 说话人口音分类 许可证: bsd-3-clause 语言:
• 英语 评估指标:
• 准确率 基础模型:
• openai/whisper-large-v3 流水线标签: 音频分类 数据集:
• mozilla-foundation/common_voice_11_0

Whisper-Large v3 细粒度口音分类模型

模型描述

该模型实现了《Vox-Profile: 用于表征多样化说话人与语音特征的语音基础模型基准》(https://arxiv.org/pdf/2505.14648)中描述的细粒度口音分类方法。

包含的英语口音类型如下：

[
  '东亚', '英格兰', '日耳曼语系', '爱尔兰',
  '北美', '北爱尔兰', '大洋洲',
  '其他', '罗曼语系', '苏格兰', '闪含语系', '斯拉夫语系',
  '南非', '东南亚', '南亚', '威尔士'
]

我们观察到的模型特性（持续更新列表）：

1. 合成语音(TTS)样本更容易被识别为日耳曼语系。

• 代码库: https://github.com/tiantiaf0627/vox-profile-release

使用指南

下载代码库

git clone git@github.com:tiantiaf0627/vox-profile-release.git

安装环境

conda create -n vox_profile python=3.8
cd vox-profile-release
pip install -e .

加载模型

# 导入库
import torch
import torch.nn.functional as F
from src.model.accent.whisper_accent import WhisperWrapper

# 检测设备
device = torch.device("cuda") if torch.cuda.is_available() else "cpu"

# 从Huggingface加载模型
model = WhisperWrapper.from_pretrained("tiantiaf/whisper-large-v3-narrow-accent").to(device)
model.eval()

预测示例

# 标签列表
english_accent_list = [
    '东亚', '英格兰', '日耳曼语系', '爱尔兰',
    '北美', '北爱尔兰', '大洋洲',
    '其他', '罗曼语系', '苏格兰', '闪含语系', '斯拉夫语系',
    '南非', '东南亚', '南亚', '威尔士'
]
    
# 加载数据（此处用零张量示例）
# 训练时过滤了短于3秒（预测不可靠）和长于15秒（计算限制）的音频
# 请确保输入音频最长15秒，16kHz采样率，单声道
max_audio_length = 15 * 16000
data = torch.zeros([1, 16000]).float().to(device)[:, :max_audio_length]
logits, embeddings = model(data, return_feature=True)
    
# 计算概率输出
accent_prob = F.softmax(logits, dim=1)
print(english_accent_list[torch.argmax(accent_prob).detach().cpu().item()])

如有疑问，请联系：冯甜甜 (tiantiaf@usc.edu)

若使用本模型或认为其有帮助，请引用我们的论文

@article{feng2025vox,
  title={Vox-Profile: 用于表征多样化说话人与语音特征的语音基础模型基准},
  author={冯甜甜 and 李智焕 and 徐安峰 and 李允静 and 塔纳泰·勒佩蓬 and 石璇 and 王鹤霖 and 托马斯·特博 and 劳雷亚诺·莫罗-贝拉斯克斯 and 丹妮·伯德等},
  journal={arXiv预印本 arXiv:2505.14648},
  year={2025}
}