{}

请通过点赞支持我们的社区

亮点功能 | 项目介绍 | 安装指南 | 快速开始 | 使用教程 | 模型库 | 联系我们

亮点功能

InspireMusic专注于音乐生成、歌曲生成和音频生成。

• 专为音乐、歌曲和音频生成设计的统一工具包
• 支持高音质的音乐生成任务
• 支持长篇幅音乐生成

项目介绍

[!注意] 本仓库包含算法基础设施和部分简单示例，目前仅支持英文文本提示。

[!提示] 如需预览生成效果，请访问InspireMusic演示页面。

InspireMusic是通过音频标记化与自回归变换器及基于流匹配的模型相结合的统一样本生成框架。该工具包的初衷是让普通用户能够通过音乐、歌曲和音频创作来创新声景并提升研究的和谐性。工具包提供基于AI的生成模型的训练和推理代码，可创作高质量音乐。作为一个统一框架，InspireMusic整合了音频标记器与自回归变换器及超分辨率流匹配建模，支持通过文本和音频提示可控地生成音乐、歌曲和音频。目前支持音乐生成功能，未来将支持歌曲生成和音频生成。

InspireMusic架构

图1：InspireMusic框架概览。我们提出的InspireMusic是一个支持高质量长篇幅音频生成的统一框架，包含三个核心组件：音频标记器将原始音频波形转换为离散音频标记，便于自回归变换器模型高效处理；低采样率音频通过高比特率压缩音频标记器[1]转换为离散标记。自回归变换器基于Qwen2.5[2]主干模型，采用下一标记预测方法在文本和音频标记上进行训练，使其能生成连贯且上下文相关的标记序列。超分辨率流匹配模型基于流建模方法，将生成的标记映射到具有高分辨率细粒度声学细节的潜在特征[3]，通过声码器生成最终音频波形。支持文本到音乐、音乐延续、音乐重建和音乐超分辨率等任务。

安装指南

克隆仓库

git clone --recursive https://github.com/FunAudioLLM/InspireMusic.git
# 如因网络问题克隆子模块失败，请运行以下命令直至成功
cd InspireMusic
git submodule update --recursive
# 或手动下载第三方仓库
cd third_party && git clone https://github.com/shivammehta25/Matcha-TTS.git

源码安装

要求Python>=3.8, PyTorch>=2.0.1, flash attention==2.6.2/2.6.3, CUDA>=11.2：

conda create -n inspiremusic python=3.8
conda activate inspiremusic
cd InspireMusic
conda install -y -c conda-forge pynini==2.1.5
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com
pip install flash-attn --no-build-isolation
python setup.py install

推荐安装音频处理工具：

# Ubuntu
sudo apt-get install sox libsox-dev ffmpeg
# CentOS
sudo yum install sox sox-devel ffmpeg

Docker部署

构建镜像：

docker build -t inspiremusic .

启动容器：

docker run -ti --gpus all -v .:/workspace/InspireMusic inspiremusic

Docker Compose部署

docker compose up -d --build
docker exec -ti inspire-music bash

快速开始

音乐生成示例：

cd InspireMusic
mkdir -p pretrained_models

# 下载模型
# ModelScope
git clone https://www.modelscope.cn/iic/InspireMusic-1.5B-Long.git pretrained_models/InspireMusic-1.5B-Long
# HuggingFace
git clone https://huggingface.co/FunAudioLLM/InspireMusic-1.5B-Long.git pretrained_models/InspireMusic-1.5B-Long

cd examples/music_generation
sh infer_1.5b_long.sh

完整流程脚本：

cd InspireMusic/examples/music_generation/
sh run.sh

单行命令推理

文本到音乐任务

python -m inspiremusic.cli.inference --task text-to-music -m "InspireMusic-1.5B-Long" -g 0 -t "体验带有波萨诺瓦风格的舒缓爵士乐，适合餐厅或水疗中心的放松氛围。" -c intro -s 0.0 -e 30.0 -r "exp/inspiremusic" -o output -f wav

Python代码示例：

from inspiremusic.cli.inference import InspireMusic
model = InspireMusic(model_name = "InspireMusic-Base")
model.inference("text-to-music", "体验带有波萨诺瓦风格的舒缓爵士乐")

音乐延续任务

python -m inspiremusic.cli.inference --task continuation -g 0 -a audio_prompt.wav

Python代码示例：

model.inference("continuation", None, "audio_prompt.wav")
model.inference("continuation", "继续生成爵士乐", "audio_prompt.wav")

模型库

模型下载

mkdir -p pretrained_models
git clone https://www.modelscope.cn/iic/InspireMusic.git pretrained_models/InspireMusic

可用模型

下表列出了ModelScope和Huggingface模型中心的链接：

模型名称	模型链接	备注
InspireMusic-Base-24kHz		预训练音乐生成模型，24kHz单声道，30秒
InspireMusic-1.5B-Long		预训练1.5B音乐生成模型，48kHz，支持数分钟长篇幅生成

基础使用

当前支持音乐生成的训练和推理。

训练示例

LLM模型训练（支持BF16/FP16）：

torchrun --nnodes=1 --nproc_per_node=8 \
    inspiremusic/bin/train.py \
    --config conf/inspiremusic.yaml \
    --train_data data/train.data.list \
    --model_dir exp/music_generation/llm/ \
    --fp16

流匹配模型训练：

torchrun --nnodes=1 --nproc_per_node=8 \
    inspiremusic/bin/train.py \
    --model flow \
    --config conf/inspiremusic.yaml \
    --model_dir exp/music_generation/flow/

推理示例

cd examples/music_generation/
sh infer.sh

硬件要求

H800 GPU测试显示生成30秒音频的实时因子(RTF)约为1.6~1.8。常规模式建议使用至少24GB显存的GPU，快速模式12GB显存即可。

引用

@misc{InspireMusic2025,
      title={InspireMusic: 融合超分辨率与大语言模型的高保真长篇幅音乐生成}, 
      author={张冲、马玉坤等},
      year={2025},
      eprint={2503.00084},
      primaryClass={cs.SD},
      url={https://arxiv.org/abs/2503.00084}, 
}

免责声明

本内容仅用于研究目的，部分示例来源于网络。如有侵权请联系我们删除。