许可证: mit
许可证链接: https://huggingface.co/nvidia/BigVGAN/blob/main/LICENSE
标签:

• 神经声码器
• 音频生成
  库名称: PyTorch
  管道标签: 音频到音频

采用不同梅尔频谱输入的BigVGAN

这些BigVGAN检查点是在https://huggingface.co/nvidia/bigvgan_v2_24khz_100band_256x的基础上继续训练得到的，其输入的梅尔频谱由[vocos]中的以下代码生成：

class MelSpectrogramFeatures(FeatureExtractor):
    def __init__(self, sample_rate=24000, n_fft=1024, hop_length=256, n_mels=100, padding="center"):
        super().__init__()
        if padding not in ["center", "same"]:
            raise ValueError("Padding must be 'center' or 'same'.")
        self.padding = padding
        self.mel_spec = torchaudio.transforms.MelSpectrogram(
            sample_rate=sample_rate,
            n_fft=n_fft,
            hop_length=hop_length,
            n_mels=n_mels,
            center=padding == "center",
            power=1,
        )

    def forward(self, audio, **kwargs):
        if self.padding == "same":
            pad = self.mel_spec.win_length - self.mel_spec.hop_length
            audio = torch.nn.functional.pad(audio, (pad // 2, pad // 2), mode="reflect")
        mel = self.mel_spec(audio)
        features = safe_log(mel)
        return features

训练时使用的segment_size=65536（未改变），batch_size=24（Nvidia团队使用的是32）。最终的评估PESQ得分为4.340（Nvidia检查点在其自己的梅尔频谱代码上为4.362）。