开源协议: MIT
任务类型: 音频到音频转换
标签:

• 声码器
• 高保真生成对抗网络
• 文本转语音
• 梅尔频谱
• 声码器
• 梅尔谱

模型描述

Vocos 是一款快速神经声码器，专为从声学特征合成音频波形而设计。与其他典型的基于生成对抗网络（GAN）的声码器不同，Vocos 并不在时域中对音频样本进行建模，而是通过生成频谱系数，借助逆傅里叶变换实现快速音频重建。

此版本 Vocos 使用 80 维梅尔频谱作为声学特征，这一特征自 HiFi-GAN 推出以来在文本转语音（TTS）领域广泛应用。该模型的目标是提供一种比 HiFi-GAN 更快速且兼容多种 TTS 模型声学输出的替代方案。

用途与限制

该模型旨在作为声码器，用于从梅尔频谱合成音频波形。其训练数据为语音，若用于其他音频领域，可能无法生成高质量样本。

安装

如需仅用于推理，可通过以下命令安装：

pip install git+https://github.com/langtech-bsc/vocos.git@matcha  

从梅尔频谱重建音频

import torch  
from vocos import Vocos  

vocos = Vocos.from_pretrained("patriotyk/vocos-mel-hifigan-compat-44100khz")  

mel = torch.randn(1, 80, 256)  # 批次, 通道, 时间步  
audio = vocos.decode(mel)  

训练数据

模型基于 800+ 小时的乌克兰语有声书私有数据集训练，数据通过 narizaka 工具处理。

训练流程

模型训练了 210 个周期（共 200 万步），批次大小为 20。采用初始学习率为 3e-4 的余弦调度器，使用两块 RTX-3090 显卡持续训练约一个月。

训练超参数

• 初始学习率: 3e-4
• 调度器: 无预热或重启的余弦策略
• 梅尔损失系数: 45
• 多分辨率判别损失系数: 1.0
• 批次大小: 20
• 样本数: 32768

评估

采用原代码库指标进行评估，210 周期后结果如下：

• 验证损失: 3.703
• F1分数: 0.950
• 梅尔损失: 0.248
• 周期性损失: 0.127
• PESQ分数: 3.399
• 基频损失: 38.26
• UTMOS分数: 3.146

引用

若此代码对您的研究有所助益，请引用以下论文：

@article{siuzdak2023vocos,
  title={Vocos: 基于傅里叶的神经声码器与时域方法的差距在高品质音频合成中的闭合},
  author={Siuzdak, Hubert},
  journal={arXiv 预印本 arXiv:2306.00814},
  year={2023}
}