许可证：openrail++ 标签：

• 文本生成图像
• 稳定扩散 库名称：diffusers 推理：不支持

最新动态

社区推荐使用新版模型：SDXS-512-DreamShaper。该版本画质更优，生成速度更快。

SDXS-512-0.9

SDXS是一款基于提示文本实时生成高清图像的模型，采用分数蒸馏与特征匹配技术训练而成。更多技术细节请参阅我们的研究论文：SDXS：支持图像条件的实时一步潜在扩散模型。本模型作为研究成果组成部分开源发布。

SDXS-512-0.9是SDXS-512的旧版本。为避免潜在商业版权风险，SDXS-512-1.0和SDXS-1024-1.0将暂不公开，我们将陆续推出采用不同教师DM或离线DM的新版本替代。请关注我们的代码库获取更新。

模型信息：

• 教师DM：SD Turbo
• 离线DM：SD v2.1基础版
• VAE解码器：TAESD

与1.0版本的主要差异体现在三方面：

1. 本版本采用TAESD解码器，当权重类型为float16时可能产生低质量图像。当前diffusers版本暂不兼容我们的图像解码器，故暂不提供
2. 本版本未实施论文实现细节章节提到的LoRA-GAN微调，可能导致图像细节稍逊
3. 本版本在最高分辨率阶段用交叉注意力替代自注意力机制，相较直接移除仅引入极小开销

Diffusers使用指南

import torch
from diffusers import StableDiffusionPipeline, AutoencoderKL

repo = "IDKiro/sdxs-512-0.9"
seed = 42
weight_type = torch.float32     # 或 float16

# 加载模型
pipe = StableDiffusionPipeline.from_pretrained(repo, torch_dtype=weight_type)

# 使用原始VAE
# pipe.vae = AutoencoderKL.from_pretrained("IDKiro/sdxs-512-0.9/vae_large")
 
pipe.to("cuda")

prompt = "少女肖像照片，专业摄影，面部高度细节，景深效果，戏剧性光影，黄金时刻"

# 确保使用1步推理且CFG设为0
image = pipe(
    prompt, 
    num_inference_steps=1, 
    guidance_scale=0,
    generator=torch.Generator(device="cuda").manual_seed(seed)
).images[0]

image.save("output.png")

引用我们的工作

@article{song2024sdxs,
  author    = {宋雨达, 孙泽浩, 尹炫武},
  title     = {SDXS：支持图像条件的实时一步潜在扩散模型},
  journal   = {arxiv},
  year      = {2024},
}