license: mit language:

• en pipeline_tag: text-to-image tags:
• text-to-image

潜在一致性模型

论文《潜在一致性模型》的官方代码库：Latent Consistency Models。

项目主页：https://latent-consistency-models.github.io

体验我们的Hugging Face演示：

模型描述：

本模型从Stable-Diffusion v1-5的Dreamshaper v7微调版本蒸馏而来，仅需4,000次训练迭代（约32个A100 GPU小时）。

生成效果：

通过将无分类器引导蒸馏至模型输入端，LCM能在极短推理时间内生成高质量图像。我们在768x768分辨率、CFG缩放系数w=8、批量大小=4的设置下，使用A800 GPU对比了推理耗时。

使用方式

您可以直接在以下平台体验潜在一致性模型：

若需本地运行，可使用🧨 Diffusers库：

1. 安装依赖库：

pip install --upgrade diffusers  # 需确保diffusers版本≥0.22
pip install transformers accelerate

2. 运行模型：

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("SimianLuo/LCM_Dreamshaper_v7")

# 为节省GPU显存可使用torch.float16，但可能影响图像质量
pipe.to(torch_device="cuda", torch_dtype=torch.float32)

prompt = "自画像油画，一位金发机械美女，8k分辨率"

# 可设置1~50步。LCM即使在≤4步时仍支持快速推理，推荐1~8步
num_inference_steps = 4 

images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=8.0, lcm_origin_steps=50, output_type="pil").images

更多信息请查阅官方文档： 👉 https://huggingface.co/docs/diffusers/api/pipelines/latent_consistency_models#latent-consistency-models

旧版使用方式（已弃用）

1. 安装依赖库：

pip install diffusers transformers accelerate

2. 运行模型：

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("SimianLuo/LCM_Dreamshaper_v7", custom_pipeline="latent_consistency_txt2img", custom_revision="main", revision="fb9c5d")

# 为节省GPU显存可使用torch.float16，但可能影响图像质量
pipe.to(torch_device="cuda", torch_dtype=torch.float32)

prompt = "自画像油画，一位金发机械美女，8k分辨率"

# 可设置1~50步。LCM即使在≤4步时仍支持快速推理，推荐1~8步
num_inference_steps = 4 

images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=8.0, output_type="pil").images

文献引用

@misc{luo2023latent,
      title={Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference}, 
      author={Simian Luo and Yiqin Tan and Longbo Huang and Jian Li and Hang Zhao},
      year={2023},
      eprint={2310.04378},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}