标签:

• pyannote
• pyannote音频
• pyannote音频模型
• 音频
• 语音
• 说话人
• 说话人分割
• 语音活动检测
• 重叠语音检测
• 重分割 许可证: MIT 推理: 不支持 额外授权提示: "收集的信息将有助于更好地了解pyannote.audio用户群体，并帮助其维护者申请资助以进一步改进。如果您是学术研究人员，请在您自己的出版物中引用相关论文。如果您为公司工作，请考虑回馈pyannote.audio的开发（例如通过无限制捐赠）。我们还提供围绕说话人日志和机器听觉的科学咨询服务。" 额外授权字段: 公司/大学: 文本 网站: 文本 我计划将此模型用于（任务、音频数据类型等）: 文本

在生产中使用此开源模型？
考虑切换到pyannoteAI以获得更好更快的选择。

🎹 说话人分割

论文 | 演示 | 博客文章

使用方法

依赖pyannote.audio 2.1.1版本：查看安装说明。

# 1. 访问hf.co/pyannote/segmentation并接受用户条款
# 2. 访问hf.co/settings/tokens创建访问令牌
# 3. 实例化预训练模型
from pyannote.audio import Model
model = Model.from_pretrained("pyannote/segmentation", 
                              use_auth_token="访问令牌在此填写")

语音活动检测

from pyannote.audio.pipelines import VoiceActivityDetection
pipeline = VoiceActivityDetection(segmentation=model)
超参数 = {
  # 开始/结束激活阈值
  "onset": 0.5, "offset": 0.5,
  # 移除短于此秒数的语音区域
  "min_duration_on": 0.0,
  # 填充短于此秒数的非语音区域
  "min_duration_off": 0.0
}
pipeline.instantiate(超参数)
vad = pipeline("audio.wav")
# `vad`是一个包含语音区域的pyannote.core.Annotation实例

重叠语音检测

from pyannote.audio.pipelines import OverlappedSpeechDetection
pipeline = OverlappedSpeechDetection(segmentation=model)
pipeline.instantiate(超参数)
osd = pipeline("audio.wav")
# `osd`是一个包含重叠语音区域的pyannote.core.Annotation实例

重分割

from pyannote.audio.pipelines import Resegmentation
pipeline = Resegmentation(segmentation=model, 
                          diarization="baseline")
pipeline.instantiate(超参数)
resegmented_baseline = pipeline({"audio": "audio.wav", "baseline": baseline})
# 其中`baseline`应作为pyannote.core.Annotation实例提供

原始分数

from pyannote.audio import Inference
inference = Inference(model)
segmentation = inference("audio.wav")
# `segmentation`是一个pyannote.core.SlidingWindowFeature
# 实例，包含如上图所示的原始分割分数（输出）

引用

@inproceedings{Bredin2021,
  标题 = {{端到端说话人分割以实现重叠感知的重分割}},
  作者 = {{Bredin}, Herv{\'e} 和 {Laurent}, Antoine},
  会议 = {Proc. Interspeech 2021},
  地址 = {布尔诺, 捷克共和国},
  月份 = {八月},
  年份 = {2021},

@inproceedings{Bredin2020,
  标题 = {{pyannote.audio: 说话人日志的神经构建块}},
  作者 = {{Bredin}, Herv{\'e} 和 {Yin}, Ruiqing 和 {Coria}, Juan Manuel 和 {Gelly}, Gregory 和 {Korshunov}, Pavel 和 {Lavechin}, Marvin 和 {Fustes}, Diego 和 {Titeux}, Hadrien 和 {Bouaziz}, Wassim 和 {Gill}, Marie-Philippe},
  会议 = {ICASSP 2020, IEEE国际声学、语音和信号处理会议},
  地址 = {巴塞罗那, 西班牙},
  月份 = {五月},
  年份 = {2020},
}

可重复研究

为了重现论文"端到端说话人分割以实现重叠感知的重分割"的结果，使用pyannote/segmentation@Interspeech2021及以下超参数：

预期输出（及VBx基线）也提供在/reproducible_research子目录中。