许可协议: cc-by-4.0
支持语言:

• 英语
  任务标签: 摘要生成
  技术标签:
• 说话人嵌入
• wespeaker
• 说话人建模

由Wespeaker项目提供的官方模型，基于ResNet293架构的r-vector（经过大间隔微调优化）

该模型在VoxCeleb2开发数据集上训练，包含5994名说话人。

模型来源

• 代码仓库: https://github.com/wenet-e2e/wespeaker
• 论文: https://arxiv.org/pdf/2210.17016.pdf
• 演示: https://huggingface.co/spaces/wenet/wespeaker_demo

VoxCeleb测试结果

安装Wespeaker

pip install git+https://github.com/wenet-e2e/wespeaker.git

开发模式安装：

git clone https://github.com/wenet-e2e/wespeaker.git
cd wespeaker
pip install -e .

命令行使用

$ wespeaker -p resnet293下载目录 --task embedding --audio_file 音频.wav --output_file 嵌入向量.txt
$ wespeaker -p resnet293下载目录 --task embedding_kaldi --wav_scp 音频列表.scp --output_file 嵌入向量保存路径
$ wespeaker -p resnet293下载目录 --task similarity --audio_file 音频1.wav --audio_file2 音频2.wav
$ wespeaker -p resnet293下载目录 --task diarization --audio_file 音频.wav

Python编程使用

import wespeaker

model = wespeaker.load_model_local(resnet293下载目录)
# 设置GPU编号启用CUDA推理（数值<0表示使用CPU）
model.set_gpu(0)

# 支持功能：embedding/embedding_kaldi/similarity/diarization
embedding = model.extract_embedding('音频.wav')
utt_names, embeddings = model.extract_embedding_list('音频列表.scp')
similarity = model.compute_similarity('音频1.wav', '音频2.wav')
diar_result = model.diarize('音频.wav')

# 注册与识别功能
model.register('说话人1', '说话人1_音频1.wav')
model.register('说话人2', '说话人2_音频1.wav')
model.register('说话人3', '说话人3_音频1.wav')
result = model.recognize('说话人1_音频2.wav')

引用文献

@inproceedings{wang2023wespeaker,
  title={Wespeaker: 面向研究与生产的说话人嵌入学习工具包},
  author={王宏吉 and 梁成栋 and 王帅 and 陈正阳 and 张斌斌 and 向旭 and 邓彦磊 and 钱彦敏},
  booktitle={IEEE国际声学、语音与信号处理会议(ICASSP)},
  pages={1--5},
  year={2023},
  organization={IEEE}
}