库名称: diffusers
基础模型: stabilityai/stable-diffusion-xl-base-1.0
标签:

• 文生图
  许可证: openrail++
  推理: 禁用

潜在一致性模型(LCM): SSD-1B

潜在一致性模型(LCM)由Simian Luo、Yiqin Tan等人在论文《潜在一致性模型：通过少步推理合成高分辨率图像》中提出，Simian Luo、Suraj Patil和Daniel Gu成功应用相同方法为SDXL创建了LCM版本。

本检查点是segmind/SSD-1B的LCM蒸馏版本，可将推理步骤缩减至仅需2-8步。

使用说明

LCM SDXL从v0.23.0版本开始获得🤗 Hugging Face Diffusers库支持。运行前请先安装最新版Diffusers库及peft、accelerate、transformers依赖：

pip install --upgrade pip  
pip install --upgrade diffusers transformers accelerate peft  

文生图

加载基础管道segmind/SSD-1B后，需将调度器切换为LCMScheduler，推理步骤可缩减至2-8步：

from diffusers import UNet2DConditionModel, DiffusionPipeline, LCMScheduler  
import torch  

unet = UNet2DConditionModel.from_pretrained("latent-consistency/lcm-ssd-1b", torch_dtype=torch.float16, variant="fp16")  
pipe = DiffusionPipeline.from_pretrained("segmind/SSD-1B", unet=unet, torch_dtype=torch.float16, variant="fp16")  

pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)  
pipe.to("cuda")  

prompt = "雨中站立老人的特写照片"  

image = pipe(prompt, num_inference_steps=4, guidance_scale=1.0).images[0]  

图生图

功能可用！文档待补充

图像修复

功能可用！文档待补充

ControlNet控制

功能可用！文档待补充

T2I适配器

功能可用！文档待补充

速度基准测试

待补充

训练过程

待补充