许可协议: cc-by-nc-sa-4.0 数据集:

• bjoernp/AudioCaps
• declare-lab/audio-alpaca 语言:
• 英文 任务标签: 文本转音频 标签:
• 文本转音频

Tango 2：基于直接偏好优化的扩散式文本转音频生成模型对齐技术

🎵 我们在Tango基础上开发了文本转音频生成模型Tango 2。该模型以Tango-full-ft检查点为初始参数，通过在Audio-alpaca配对的文本-音频偏好数据集上应用DPO进行对齐训练。Tango-2-full是在扩展版Audio-alpaca数据集上训练的成果 🎶

阅读论文

代码实现

代码已开源：https://github.com/declare-lab/tango

请参考代码库中的说明进行安装、使用和实验操作。

快速入门指南

下载Tango 2模型并根据文本提示生成音频：

import IPython
import soundfile as sf
from tango import Tango

tango = Tango("declare-lab/tango2-full")

prompt = "观众欢呼鼓掌的场景"
audio = tango.generate(prompt)
sf.write(f"{prompt}.wav", audio, samplerate=16000)
IPython.display.Audio(data=audio, rate=16000)

模型将自动下载并缓存至本地，后续运行将直接从缓存加载。

默认情况下，generate函数使用100步采样潜在扩散模型。建议使用200步以获得更高质量的音频生成，但会相应增加运行时间。

prompt = "雷声隆隆伴随闪电划过的音效"
audio = tango.generate(prompt, steps=200)
IPython.display.Audio(data=audio, rate=16000)

使用generate_for_batch函数为批量文本提示生成多个音频样本：

prompts = [
    "汽车引擎加速的轰鸣声",
    "犬吠声伴随窸窣响动和咔嗒声",
    "水流潺潺的音效"
]
audios = tango.generate_for_batch(prompts, samples=2)

这将为三个文本提示各生成两个音频样本。