库名称: diffusers
基础模型: stabilityai/stable-diffusion-xl-base-1.0
标签:

• 文本生成图像
  许可证: apache-2.0
  推理: false

子路径线性近似模型 (SLAM) LoRA: SDXL

论文: https://arxiv.org/abs/2404.13903

项目主页: https://subpath-linear-approx-model.github.io/

该检查点是从stabilityai/stable-diffusion-xl-base-1.0蒸馏而来，采用我们提出的子路径线性近似模型，将推理步骤减少至仅需2-4步。

使用方法

首先安装最新版本的Diffusers库以及peft、accelerate和transformers。

pip install --upgrade pip  
pip install --upgrade diffusers transformers accelerate peft  

我们实现的SLAM与LCMScheduler兼容。您可以像使用LCM-LoRA一样使用SLAM-LoRA。

import torch  
from diffusers import LCMScheduler, AutoPipelineForText2Image  

model_id = "stabilityai/stable-diffusion-xl-base-1.0"  
adapter_id = "alimama-creative/slam-lora-sdxl"  

pipe = AutoPipelineForText2Image.from_pretrained(model_id, torch_dtype=torch.float16, variant="fp16")  
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)  
pipe.to("cuda")  

# 加载并融合LCM LoRA  
pipe.load_lora_weights(adapter_id)  
pipe.fuse_lora()  

prompt = "一只棕色泰迪熊在墓前捧着一个玻璃花瓶。"  

image = pipe(prompt=prompt, num_inference_steps=4, guidance_scale=1.0).images[0]  

与latent-consistency/lcm-lora-sdxl的对比。

更多示例: