许可协议: cc-by-nc-sa-4.0 数据集:

• bjoernp/AudioCaps 语言:
• 英文 任务标签:
• 文本转音频 标签:
• 文本转音频

TANGO：基于指令引导扩散的文本转音频模型

TANGO 是一个用于文本转音频生成的潜在扩散模型。该模型能够根据文本提示生成包括人声、动物声音、自然与人工音效在内的逼真音频。我们采用冻结参数的指令调优大语言模型Flan-T5作为文本编码器，并训练基于UNet架构的扩散模型进行音频生成。在客观指标和主观评价方面，本模型均超越了当前最先进的音频生成模型。现向研究社区开源模型、训练推理代码及预训练权重。

📣 我们正式发布TANGO-Full-FT-Audiocaps模型，该版本先在多元化文本-音频配对数据集TangoPromptBank上预训练，随后在AudioCaps数据集上微调。该模型在AudioCaps文本转音频任务中取得了最先进的性能表现。

代码库

项目代码已开源：https://github.com/declare-lab/tango

我们上传了多组TANGO生成样本：https://tango-web.github.io/

具体安装、使用及实验方法请参阅代码库说明文档。

快速入门指南

下载TANGO模型并根据文本提示生成音频：

import IPython
import soundfile as sf
from tango import Tango

tango = Tango("declare-lab/tango")

prompt = "观众欢呼鼓掌的热烈场景"
audio = tango.generate(prompt)
sf.write(f"{prompt}.wav", audio, samplerate=16000)
IPython.display.Audio(data=audio, rate=16000)

观众欢呼鼓掌的热烈场景.webm

模型将自动下载并缓存至本地，后续运行将直接调用缓存模型。

默认情况下，generate函数使用100步采样生成音频。建议使用200步以获得更高质量的生成效果（需权衡更长的运行时间）：

prompt = "伴随闪电的滚滚雷声"
audio = tango.generate(prompt, steps=200)
IPython.display.Audio(data=audio, rate=16000)

伴随闪电的滚滚雷声.webm

使用generate_for_batch函数批量生成多文本提示的音频样本：

prompts = [
    "汽车引擎加速轰鸣",
    "犬吠声伴随窸窣响动与咔嗒声",
    "水流潺潺的声响"
]
audios = tango.generate_for_batch(prompts, samples=2)

该操作将为三个文本提示各生成两个音频样本。

局限性

由于TANGO仅在小型AudioCaps数据集上训练，对于训练中未见的语义概念（如"歌唱声"）可能生成效果欠佳。同理，模型对文本控制提示的精细调节能力有限。例如，对于提示语"在木桌上切番茄"、"在金属桌上切土豆"和"在桌上切蔬菜"，模型生成的音频差异较小。要提升模型对文本概念的组合理解能力及多样化的文本-音频映射能力，需要在更大规模数据集上进行训练。

我们正在更大规模数据集上训练TANGO的增强版本，以提升其泛化能力、组合生成能力和可控生成效果。