许可协议: cc-by-nc-4.0 模型库名称: diffusers 基础模型: PixArt-alpha/PixArt-XL-2-1024-MS 标签:

• 低秩适配
• 文生图 推理: 禁用

⚡ 闪速扩散：FlashPixart ⚡

闪速扩散是一种扩散蒸馏方法，源自Jasper研究院Clément Chadebec, Onur Tasar, Eyal Benaroche与Benjamin Aubin发表的论文《Flash Diffusion: Accelerating Any Conditional Diffusion Model for Few Steps Image Generation》。本模型是基于PixArt-α的6650万参数低秩适配蒸馏版本，仅需4步即可生成1024x1024图像。体验在线演示并访问官方GitHub仓库。

使用指南

通过diffusers库的PixArtAlphaPipeline可直接调用本模型，采样步骤可缩减至4步。

import torch
from diffusers import PixArtAlphaPipeline, Transformer2DModel, LCMScheduler
from peft import PeftModel

# 加载低秩适配
transformer = Transformer2DModel.from_pretrained(
  "PixArt-alpha/PixArt-XL-2-1024-MS",
  subfolder="transformer",
  torch_dtype=torch.float16
)
transformer = PeftModel.from_pretrained(
  transformer,
  "jasperai/flash-pixart"
)

# 构建流程
pipe = PixArtAlphaPipeline.from_pretrained(
  "PixArt-alpha/PixArt-XL-2-1024-MS",
  transformer=transformer,
  torch_dtype=torch.float16
)

# 调度器配置
pipe.scheduler = LCMScheduler.from_pretrained(
  "PixArt-alpha/PixArt-XL-2-1024-MS",
  subfolder="scheduler",
  timestep_spacing="trailing",
)

pipe.to("cuda")

prompt = "一只浣熊在茂密森林中阅读书籍"

image = pipe(prompt, num_inference_steps=4, guidance_scale=0).images[0]

训练详情

模型在4块H100 GPU上进行了4万次迭代训练（约188小时）。完整参数请参阅论文。

COCO 2014验证集指标（表4）

• FID-10k: 29.30 (4步推理)
• CLIP分数: 0.303 (4步推理)

引用

若本研究对您有帮助，请考虑引用：

@misc{chadebec2024flash,
      title={闪速扩散：加速任意条件扩散模型实现少步图像生成}, 
      author={克莱门特·夏德贝克 与 奥努尔·塔萨尔 与 埃亚尔·贝纳罗什 与 本杰明·奥宾},
      year={2024},
      eprint={2406.02347},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

许可

本模型采用知识共享署名-非商业性使用协议发布。