许可证：creativeml-openrail-m
标签：

• stable-diffusion

• stable-diffusion-diffusers

• text-to-audio
  推理：true
  额外授权提示：|-
  本模型采用CreativeML OpenRAIL-M许可证，向所有人开放访问，并进一步规定了权利与使用条款。
  CreativeML OpenRAIL许可证明确规定：

  1. 禁止利用该模型故意生成或传播非法、有害内容
  2. Riffusion对用户生成内容不主张任何权利，使用者可自由运用但须对使用行为负责，且不得违反许可证条款
  3. 允许商用或作为服务重新分发模型权重，但须包含相同的使用限制条款，并向所有用户提供CreativeML OpenRAIL-M许可证副本（请完整仔细阅读许可证）
     完整许可证详见：https://huggingface.co/spaces/CompVis/stable-diffusion-license

额外授权标题：请阅读许可证以访问本模型

Riffusion

Riffusion是一款基于稳定扩散技术的实时音乐生成应用。

项目详情请访问：https://www.riffusion.com/about
在线体验：https://www.riffusion.com/

• 代码库：https://github.com/riffusion/riffusion
• 网页应用：https://github.com/hmartiro/riffusion-app
• 模型检查点：https://huggingface.co/riffusion/riffusion-model-v1
• Discord社区：https://discord.gg/yu6SRwvX4v

本仓库包含以下模型文件：

• 适配diffusers的格式库
• 编译版检查点文件
• 用于加速推理的追踪版unet
• 配合riffusion-app使用的种子图像库

Riffusion v1模型

Riffusion是一种潜在文本-图像扩散模型，可根据文本输入生成频谱图，这些频谱图可转换为音频片段。该模型由Seth Forsgren和Hayk Martiros作为业余项目开发。

您可以直接使用Riffusion模型，或体验Riffusion网页应用。该模型基于Stable-Diffusion-v1-5检查点微调，关于稳定扩散的详细介绍请参阅🤗官方博客。

模型详情

• 开发者： Seth Forsgren, Hayk Martiros
• 模型类型： 基于扩散的文本-图像生成模型
• 支持语言： 英语
• 许可证： CreativeML OpenRAIL M许可证源自BigScience与RAIL Initiative在负责任AI许可领域的合作，详见BLOOM Open RAIL许可证说明文章。
• 模型描述： 本模型可通过文本提示生成/修改图像，是基于潜在扩散模型架构，采用CLIP ViT-L/14文本编码器（参考Imagen论文）。

直接用途

本模型仅限研究用途，适用领域包括：

• 艺术作品/音频生成及创意流程
• 教育/创意工具开发
• 生成模型研究

训练数据

原始Stable Diffusion v1.5基于LAION-5B数据集训练，配合CLIP文本编码器实现了对音乐概念等语言的深度理解。LAION团队还整理了优秀的音频数据集LAION-AI/audio-dataset。

微调指南

参考Hugging Face的diffusers训练示例。微调需要包含短音频频谱图及其文本描述的数据集。CLIP编码器能理解未在数据集中出现的词汇关联，也可采用dreambooth方法实现风格定制。

引用

若基于本成果开展研究，请按以下格式引用：

@article{Forsgren_Martiros_2022,
  author = {Forsgren, Seth* and Martiros, Hayk*},
  title = {{Riffusion - 实时音乐生成的稳定扩散技术}},
  url = {https://riffusion.com/about},
  year = {2022}
}