library_name: diffusers tags:

• 音乐 pipeline_tag: 文本转音频

QA-MDT官方Hugging Face Diffusers实现

QAMDT：面向文本生成音乐的质量感知扩散模型 🎶

QADMT通过质量感知训练技术革新了文本生成音乐领域，有效解决了音频保真度低和数据集标注薄弱等问题。

采用掩码扩散变换器（MDT）架构，QADMT在MusicCaps和Song-Describer数据集上实现了最先进的生成效果，显著提升了音频质量与音乐表现力。

该模型源自中国科学技术大学的研究论文（论文链接），作者团队包括@changli等学者。

使用指南：

!git lfs install
!git clone https://huggingface.co/jadechoghari/openmusic qa_mdt

此命令会将文件夹名称从openmusic变更为qa_mdt

pip install -r qa_mdt/requirements.txt
pip install xformers==0.0.26.post1
pip install torchlibrosa==0.0.9 librosa==0.9.2
pip install -q pytorch_lightning==2.1.3 torchlibrosa==0.0.9 librosa==0.9.2 ftfy==6.1.1 braceexpand
pip install torch==2.3.0+cu121 torchvision==0.18.0+cu121 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu121

from qa_mdt.pipeline import MOSDiffusionPipeline

pipe = MOSDiffusionPipeline()
pipe("现代合成器创造出的未来主义音景")

享受音乐吧！！ 🎶