许可协议: openrail++ 标签:

• 文本生成图像
• 稳定扩散 库名称: diffusers 推理: 否

SDXS-512-梦想塑造者

SDXS是一款能够基于提示文本实时生成高分辨率图像的模型，通过分数蒸馏和特征匹配技术训练而成。
更多技术细节请参阅我们的研究论文: SDXS: 具备图像条件的实时一步潜在扩散模型。
本模型作为研究成果的一部分予以开源。

SDXS-512-梦想塑造者是我们专为社区训练的版本。
该模型训练时未以FID指标为核心，通过牺牲部分多样性来提升图像生成质量。
出于风险规避考虑，SDXS-512-1.0和SDXS-1024-1.0版本将暂缓发布。
请关注我们的代码库获取最新动态。

模型信息:

• 教师扩散模型: dreamshaper-8-lcm
• 离线扩散模型: dreamshaper-8
• 变分自编码器: TAESD

与SDXS-512-0.9类似，由于我们的图像解码器与diffusers不兼容，故采用TAESD方案。
目前我们提交的改进请求已获合并，可缩小TAESD与原生解码器的效果差距。
待diffusers下次版本更新后，或将替换为原生图像解码器。

Diffusers使用指南

import torch
from diffusers import StableDiffusionPipeline, AutoencoderKL

repo = "IDKiro/sdxs-512-dreamshaper"
种子数 = 42
权重类型 = torch.float16     # 或 float32

# 加载模型
pipe = StableDiffusionPipeline.from_pretrained(repo, torch_dtype=权重类型)
pipe.to("cuda")

提示词 = "雨中站立老人的特写照片"

# 确保使用1步推理且CFG设为0
图像 = pipe(
    提示词, 
    num_inference_steps=1, 
    guidance_scale=0,
    generator=torch.Generator(device="cuda").manual_seed(种子数)
).images[0]

图像.save("output.png")

引用我们的工作

@article{song2024sdxs,
  author    = {宋宇达, 孙泽浩, 尹轩梧},
  title     = {SDXS: 具备图像条件的实时一步潜在扩散模型},
  journal   = {arxiv},
  year      = {2024},
}