许可证：apache-2.0
数据集：

• poloclub/diffusiondb
  基础模型：
• PixArt-alpha/PixArt-Sigma-XL-2-1024-MS
  任务标签：文本生成图像
  库名称：diffusers

AMD Nitro Diffusion

简介

AMD Nitro Diffusion 是一系列高效的文本生成图像模型，基于 AMD Instinct™ GPU 从主流扩散模型蒸馏而来。本次发布包含：

• Stable Diffusion 2.1 Nitro：基于 UNet 的单步推理模型，从 Stable Diffusion 2.1 蒸馏。
• PixArt-Sigma Nitro：基于 Transformer 的高分辨率单步推理模型，从 PixArt-Sigma 蒸馏。

⚡️ 开源代码！模型基于我们对 Latent Adversarial Diffusion Distillation 的重新实现（该方法用于构建热门的 Stable Diffusion 3 Turbo 模型）。由于原作者未提供训练代码，我们发布重新实现以推动该领域研究。

技术细节

• 模型架构：PixArt-Sigma Nitro 与 PixArt-Sigma 架构相同，兼容 diffusers 流程。
• 推理步数：本模型蒸馏为单步推理，但训练代码支持 2/4/8 步蒸馏。
• 硬件：使用 4 块 AMD Instinct™ MI250 GPU 单节点蒸馏 PixArt-Sigma Nitro。
• 数据集：采用 DiffusionDB 的 100 万条提示词，通过基础 PixArt-Sigma 模型生成对应图像。
• 训练成本：单节点蒸馏在 2 天内即可获得理想结果。

快速开始

from diffusers import PixArtSigmaPipeline  
import torch  
from safetensors.torch import load_file  

pipe = PixArtSigmaPipeline.from_pretrained("PixArt-alpha/PixArt-Sigma-XL-2-1024-MS")  

ckpt_path = '<蒸馏模型路径>'  
transformer_state_dict = load_file(ckpt_path)  
pipe.transformer.load_state_dict(transformer_state_dict)  
pipe = pipe.to("cuda")  

image = pipe(prompt='一张猫的照片',  
             num_inference_steps=1,  
             guidance_scale=0,  
             timesteps=[400]).images[0]  

更多训练与评估细节请访问 GitHub 仓库。

性能对比

相比 PixArt-Sigma，本模型在 FLOPs 降低 90.9% 的同时，仅牺牲 3.7% CLIP 分数与 10.5% FID 指标。

许可证

版权所有 (c) 2018-2024 Advanced Micro Devices, Inc. 保留所有权利。
依据 Apache 许可证 2.0 版（"许可证"）授权；
除非符合许可证要求，否则不得使用本文件。
您可通过以下链接获取许可证副本：
http://www.apache.org/licenses/LICENSE-2.0
除非适用法律要求或书面同意，本软件按"原样"分发，
无任何明示或暗示的担保或条件。
详见许可证规定的权限限制条款。