语言:

• 英语 库名称: nemo 数据集:
• ljspeech 缩略图: 无 标签:
• 文本转语音
• 语音
• 音频
• 声码器
• 生成对抗网络
• pytorch
• NeMo
• Riva 许可证: cc-by-4.0

NVIDIA Hifigan 声码器 (美式英语)

| | | | |

HiFiGAN [1] 是一种生成对抗网络（GAN）模型，能够从梅尔频谱图生成音频。生成器使用转置卷积将梅尔频谱图上采样为音频信号。

使用方式

该模型可通过NeMo工具包[2]使用，可作为预训练检查点用于推理或在其他数据集上进行微调。如需训练、微调或体验模型，需安装NVIDIA NeMo。建议在安装最新版PyTorch后进行安装。

pip install nemo_toolkit['all']

自动实例化模型

注意：生成音频还需搭配NeMo的频谱图生成器。本示例使用FastPitch模型。

# 加载FastPitch
from nemo.collections.tts.models import FastPitchModel
spec_generator = FastPitchModel.from_pretrained("nvidia/tts_en_fastpitch")

# 加载声码器
from nemo.collections.tts.models import HifiGanModel
model = HifiGanModel.from_pretrained(model_name="nvidia/tts_hifigan")

生成音频

import soundfile as sf
parsed = spec_generator.parse("在此输入文本，NeMo将生成语音。")
spectrogram = spec_generator.generate_spectrogram(tokens=parsed)
audio = model.convert_spectrogram_to_audio(spec=spectrogram)

保存生成音频

# 将音频保存为speech.wav文件
sf.write("speech.wav", audio.to('cpu').numpy(), 22050)

输入

本模型接收梅尔频谱图批次作为输入。

输出

本模型输出采样率为22050Hz的音频。

模型架构

HiFi-GAN [1] 包含一个生成器和两个判别器：多尺度判别器与多周期判别器。生成器与判别器通过对抗训练，并辅以两种额外损失函数来提升训练稳定性和模型性能。

训练过程

使用NeMo工具包[3]对模型进行了多轮训练。训练采用此脚本和基础配置。

训练数据

本模型基于22050Hz采样的LJSpeech数据集训练，已测试可生成美式英语女声音频。

性能表现

当前暂无具体性能指标。

局限性

若频谱图生成模型（如FastPitch）在新说话人数据上微调，建议同步微调HiFi-GAN。研究表明使用合成梅尔频谱图可提升HiFi-GAN效果，因此建议先用微调后的FastPitch生成梅尔频谱图作为HiFiGAN的输入进行微调。

通过NVIDIA Riva部署

为获得最佳实时精度、延迟和吞吐量，建议使用NVIDIA Riva部署模型。该加速语音AI SDK支持本地、全云、多云、混合云、边缘及嵌入式部署，并提供：

• 基于数千小时GPU训练数据的开箱即用顶级精度
• 通过运行时词汇增强（如品牌产品名）及声学模型/语言模型/逆文本归一化定制实现最优精度
• 流式语音识别、Kubernetes兼容扩展和企业级支持 查看Riva在线演示。

参考文献

• [1] HiFi-GAN：高效高保真语音合成的生成对抗网络
• [2] NVIDIA NeMo工具包