许可证：MIT
许可证链接：https://huggingface.co/nvidia/BigVGAN/blob/main/LICENSE
标签：

• 神经声码器
• 音频生成
  库名称：PyTorch
  流水线标签：音频到音频

BigVGAN：一种基于大规模训练的通用神经声码器

作者：Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro, Sungroh Yoon

[论文] - [代码] - [展示] - [项目页] - [权重] - [演示]

最新动态

• 2024年7月（v2.3）：

  • 全面重构和代码优化，提升可读性。
  • 完全融合的CUDA内核（上采样+激活+下采样），并附有推理速度基准测试。

• 2024年7月（v2.2）： 仓库新增了基于gradio的交互式本地演示。

• 2024年7月（v2.1）： BigVGAN现已集成至🤗 Hugging Face Hub，可通过预训练检查点轻松进行推理。我们还提供了Hugging Face Spaces上的交互式演示。

• 2024年7月（v2）： 我们发布了BigVGAN-v2及预训练检查点，主要亮点如下：

  • 自定义CUDA推理内核：提供融合的上采样+激活CUDA内核，显著提升推理速度。测试显示，在单块A100 GPU上速度提升1.5至3倍。
  • 改进的判别器和损失函数：BigVGAN-v2采用多尺度子带CQT判别器和多尺度梅尔频谱损失进行训练。
  • 更大规模的训练数据：BigVGAN-v2使用包含多种音频类型的数据集训练，涵盖多语言语音、环境音和乐器音。
  • 提供多种音频配置的预训练检查点，支持最高44 kHz采样率和512倍上采样率。

安装

本仓库包含预训练的BigVGAN检查点，便于快速推理，并支持huggingface_hub。

如需训练模型或使用其他功能，请访问官方GitHub仓库获取更多信息：https://github.com/NVIDIA/BigVGAN

git lfs install  
git clone https://huggingface.co/nvidia/bigvgan_v2_44khz_128band_512x  

使用示例

以下示例展示如何加载Hugging Face Hub上的预训练BigVGAN生成器，从输入波形计算梅尔频谱，并以梅尔频谱为输入生成合成波形。

device = 'cuda'  

import torch  
import bigvgan  
import librosa  
from meldataset import get_mel_spectrogram  

# 实例化模型。可选设置use_cuda_kernel=True以加速推理。  
model = bigvgan.BigVGAN.from_pretrained('nvidia/bigvgan_v2_44khz_128band_512x', use_cuda_kernel=False)  

# 移除模型中的权重归一化并设置为评估模式  
model.remove_weight_norm()  
model = model.eval().to(device)  

# 加载音频文件并计算梅尔频谱  
wav_path = '/path/to/your/audio.wav'  
wav, sr = librosa.load(wav_path, sr=model.h.sampling_rate, mono=True) # wav为形状[T_time]、值范围[-1, 1]的np.ndarray  
wav = torch.FloatTensor(wav).unsqueeze(0) # wav转换为形状[B(1), T_time]的FloatTensor  

# 从原始音频计算梅尔频谱  
mel = get_mel_spectrogram(wav, model.h).to(device) # mel为形状[B(1), C_mel, T_frame]的FloatTensor  

# 从梅尔频谱生成波形  
with torch.inference_mode():  
    wav_gen = model(mel) # wav_gen为形状[B(1), 1, T_time]、值范围[-1, 1]的FloatTensor  
wav_gen_float = wav_gen.squeeze(0).cpu() # wav_gen转换为形状[1, T_time]的FloatTensor  

# 可将生成的波形转换为16位线性PCM格式  
wav_gen_int16 = (wav_gen_float * 32767.0).numpy().astype('int16') # wav_gen转为形状[1, T_time]、int16类型的np.ndarray  

使用自定义CUDA内核加速合成

实例化BigVGAN时可通过参数use_cuda_kernel启用快速CUDA推理内核：

import bigvgan  
model = bigvgan.BigVGAN.from_pretrained('nvidia/bigvgan_v2_44khz_128band_512x', use_cuda_kernel=True)  

首次使用时，系统会通过nvcc和ninja编译内核。若编译成功，内核将保存至alias_free_activation/cuda/build并自动加载。代码库已在CUDA 12.1环境下测试通过。

请确保系统中已安装上述工具，且nvcc版本与PyTorch构建版本匹配。

详情参见官方GitHub仓库：https://github.com/NVIDIA/BigVGAN?tab=readme-ov-file#using-custom-cuda-kernel-for-synthesis

预训练模型

我们提供了Hugging Face Collections上的预训练模型。用户可下载生成器权重文件（bigvgan_generator.pt）及其判别器/优化器状态文件（bigvgan_discriminator_optimizer.pt）。