标签:

• pyannote
• pyannote音频
• pyannote音频模型
• 音频
• 语音
• 说话人
• 说话人分割
• 说话人变化检测
• 语音活动检测
• 重叠语音检测
• 重分割 许可证: MIT 推理: false 额外授权提示: "收集的信息将有助于更好地了解pyannote.audio用户群体，并帮助其维护者进一步改进。尽管该模型使用MIT许可证并始终保持开源，我们偶尔会通过电子邮件向您发送有关pyannote的高级模型和付费服务的信息。" 额外授权字段: 公司/大学: 文本 网站: 文本

在生产环境中使用此开源模型？
通过我们的咨询服务充分利用它。

🎹 "Powerset"说话人分割模型

此模型接收16kHz采样的10秒单声道音频，并输出说话人分割结果，形式为一个(num_frames, num_classes)矩阵，其中7个类别分别为_非语音_、说话人#1、说话人#2、说话人#3、说话人#1和#2、说话人#1和#3，以及_说话人#2和#3_。

# 波形（第一行）
duration, sample_rate, num_channels = 10, 16000, 1
waveform = torch.randn(batch_size, num_channels, duration * sample_rate 

# powerset多类编码（第二行）
powerset_encoding = model(waveform)

# 多标签编码（第三行）
from pyannote.audio.utils.powerset import Powerset
max_speakers_per_chunk, max_speakers_per_frame = 3, 2
to_multilabel = Powerset(
    max_speakers_per_chunk, 
    max_speakers_per_frame).to_multilabel
multilabel_encoding = to_multilabel(powerset_encoding)

该模型背后的各种概念在这篇论文中有详细描述。

该模型由Séverin Baroudi使用pyannote.audio 3.0.0版本，结合AISHELL、AliMeeting、AMI、AVA-AVD、DIHARD、Ego4D、MSDWild、REPERE和VoxConverse的训练集训练而成。

Alexis Plaquet提供的配套仓库还提供了如何在自己的数据上训练或微调此类模型的说明。

要求

1. 安装pyannote.audio 3.0版本，使用pip install pyannote.audio
2. 接受pyannote/segmentation-3.0的用户条款
3. 在hf.co/settings/tokens创建访问令牌。

使用方法

# 实例化模型
from pyannote.audio import Model
model = Model.from_pretrained(
  "pyannote/segmentation-3.0", 
  use_auth_token="HUGGINGFACE_ACCESS_TOKEN_GOES_HERE")

说话人分割

此模型不能单独用于完整录音的说话人分割（它仅处理10秒的片段）。

参见pyannote/speaker-diarization-3.0管道，该管道使用额外的说话人嵌入模型来执行完整录音的说话人分割。

语音活动检测

from pyannote.audio.pipelines import VoiceActivityDetection
pipeline = VoiceActivityDetection(segmentation=model)
HYPER_PARAMETERS = {
  # 移除短于此秒数的语音区域。
  "min_duration_on": 0.0,
  # 填充短于此秒数的非语音区域。
  "min_duration_off": 0.0
}
pipeline.instantiate(HYPER_PARAMETERS)
vad = pipeline("audio.wav")
# `vad`是一个包含语音区域的pyannote.core.Annotation实例

重叠语音检测

from pyannote.audio.pipelines import OverlappedSpeechDetection
pipeline = OverlappedSpeechDetection(segmentation=model)
HYPER_PARAMETERS = {
  # 移除短于此秒数的重叠语音区域。
  "min_duration_on": 0.0,
  # 填充短于此秒数的非重叠语音区域。
  "min_duration_off": 0.0
}
pipeline.instantiate(HYPER_PARAMETERS)
osd = pipeline("audio.wav")
# `osd`是一个包含重叠语音区域的pyannote.core.Annotation实例

引用

@inproceedings{Plaquet23,
  author={Alexis Plaquet and Hervé Bredin},
  title={{Powerset multi-class cross entropy loss for neural speaker diarization}},
  year=2023,
  booktitle={Proc. INTERSPEECH 2023},
}

@inproceedings{Bredin23,
  author={Hervé Bredin},
  title={{pyannote.audio 2.1 speaker diarization pipeline: principle, benchmark, and recipe}},
  year=2023,
  booktitle={Proc. INTERSPEECH 2023},
}