库名称: diffusers
基础模型: segmind/SSD-1B
标签:

• lora
• 文本生成图像
  许可证: openrail++
  推理: false

潜在一致性模型(LCM) LoRA: SSD-1B

潜在一致性模型(LCM) LoRA由Simian Luo, Yiqin Tan, Suraj Patil, Daniel Gu等在论文LCM-LoRA: 通用稳定扩散加速模块中提出。

这是为segmind/SSD-1B设计的蒸馏一致性适配器，可将推理步骤减少至仅需2-8步。

使用方法

LCM-LoRA从🤗 Hugging Face Diffusers库v0.23.0版本开始获得支持。运行前请先安装最新版Diffusers库及peft、accelerate和transformers：

pip install --upgrade pip  
pip install --upgrade diffusers transformers accelerate peft  

文本生成图像

首先加载基础模型segmind/SSD-1B。接着需要将调度器改为LCMScheduler，并将推理步骤设为2到8步。注意需禁用guidance_scale或将其值设为1.0到2.0之间。

import torch  
from diffusers import LCMScheduler, AutoPipelineForText2Image  

model_id = "segmind/SSD-1B"  
adapter_id = "latent-consistency/lcm-lora-ssd-1b"  

pipe = AutoPipelineForText2Image.from_pretrained(model_id, torch_dtype=torch.float16, variant="fp16")  
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)  
pipe.to("cuda")  

# 加载并融合LCM LoRA  
pipe.load_lora_weights(adapter_id)  
pipe.fuse_lora()  

prompt = "自画像油画，一位金发机械美人，8k分辨率"  

# 通过传入0禁用guidance_scale  
image = pipe(prompt=prompt, num_inference_steps=4, guidance_scale=0).images[0]  

图像生成图像

同样适用！待补充文档

图像修复

同样适用！待补充文档

ControlNet控制

同样适用！待补充文档

T2I适配器

同样适用！待补充文档

速度基准测试

待补充

训练

待补充