license: apache-2.0 tags:

• pytorch
• diffusers
• text-to-image

基于潜在扩散模型的高分辨率图像合成（LDM）

论文: 基于潜在扩散模型的高分辨率图像合成

摘要:

通过将图像生成过程分解为去噪自编码器的顺序应用，扩散模型（DMs）在图像数据等领域实现了最先进的合成效果。此外，其公式化设计允许通过引导机制控制图像生成过程而无需重新训练。然而，由于这些模型通常直接在像素空间操作，强大DMs的优化往往消耗数百个GPU日，且由于顺序评估导致推理成本高昂。为了在有限计算资源下保持DM的质量和灵活性，我们将其应用于强大预训练自编码器的潜在空间。与先前工作不同，在此类表示上训练扩散模型首次实现了复杂度降低与细节保留之间的近最优平衡，极大提升了视觉保真度。通过将交叉注意力层引入模型架构，我们将扩散模型转化为强大且灵活的生成器，可处理文本或边界框等通用条件输入，并以卷积方式实现高分辨率合成。我们的潜在扩散模型（LDMs）在图像修复任务上达到新标杆，并在无条件图像生成、语义场景合成和超分辨率等多项任务中展现极强竞争力，同时相比基于像素的DMs显著降低了计算需求。

安全声明

请注意，文本生成图像模型有时可能产生有害内容。如有任何疑虑，请及时提出。

使用示例

# !pip install diffusers transformers
from diffusers import DiffusionPipeline

model_id = "CompVis/ldm-text2im-large-256"

# 加载模型和调度器
ldm = DiffusionPipeline.from_pretrained(model_id)

# 运行推理流程（采样随机噪声并进行去噪）
prompt = "一幅松鼠吃汉堡的油画"
images = ldm([prompt], num_inference_steps=50, eta=0.3, guidance_scale=6).images

# 保存图像
for idx, image in enumerate(images):
    image.save(f"squirrel-{idx}.png")

在线演示

Hugging Face Spaces

生成样本