🚀 MetaVoice-1B

MetaVoice-1B是一个拥有12亿参数的基础模型，它基于10万小时的语音数据进行训练，专为文本转语音（TTS）任务而设计。该模型具备以下显著优势：

• 能够精准呈现英语语音中的情感节奏和语调，且不会出现语音幻觉。
• 支持通过微调实现声音克隆。对于印度语使用者，仅需1分钟的训练数据即可取得良好效果。
• 可实现对美式和英式语音的零样本克隆，只需30秒的参考音频。
• 支持长文本合成。

我们依据Apache 2.0许可协议发布MetaVoice-1B，用户可无限制使用该模型。

🚀 快速开始

请参考 Github 获取最新的使用说明。

✨ 主要特性

• 情感语音呈现：精准捕捉英语语音中的情感节奏和语调，杜绝语音幻觉。
• 声音克隆支持：支持通过微调实现声音克隆，对印度语使用者，仅需1分钟训练数据；对美式和英式语音，30秒参考音频即可实现零样本克隆。
• 长文本合成：支持长文本的语音合成。

📚 详细文档

微调

请参考 Github 获取最新的微调说明。

即将推出的功能

• 长文本/任意长度的文本转语音功能
• 流式合成功能

架构

我们从文本和说话人信息中预测EnCodec令牌，然后将其扩散到波形级别，并进行后处理以清理音频。

• GPT预测：使用因果GPT预测EnCodec令牌的前两个层级。文本和音频是大语言模型上下文的一部分，说话人信息通过令牌嵌入层的条件化传递。这种说话人条件化信息来自一个单独训练的说话人验证网络。
  • 两个层级以“扁平化交错”的方式进行预测，即先预测第一层级的第一个令牌，然后是第二层级的第一个令牌，接着是第一层级的第二个令牌，依此类推。
  • 使用无条件采样来增强模型的克隆能力。
  • 文本使用自定义训练的512令牌BPE分词器进行分词。
  • 与其他工作不同，我们跳过了语义令牌的预测，因为我们发现这并非严格必要。
• Transformer预测：使用非因果（编码器风格）的Transformer从前两个层级预测其余6个层级。这是一个超小模型（约1000万个参数），对我们测试过的大多数说话人都有出色的零样本泛化能力。由于它是非因果的，我们还能够并行预测所有时间步。
• 波形生成：使用多频段扩散从EnCodec令牌生成波形。我们发现这种方法生成的语音比使用原始RVQ解码器或VOCOS更清晰。然而，波形级别的扩散会产生一些背景杂音，听起来不太舒服。
• 音频清理：使用DeepFilterNet清理多频段扩散产生的杂音。

优化

该模型支持以下优化：

1. 通过Flash解码实现键值缓存（KV-caching）
2. 批量处理（包括不同长度的文本）

📄 许可证

本项目采用Apache 2.0许可证。