license: openrail++ tags:

• 文本生成图像
• 稳定扩散

概述

SDXL-512是基于SDXL 1.0微调的检查点模型，旨在更简单地生成512x512分辨率及附近区域的高保真图像。该模型通过在多比例精选数据集上以1e-6的学习率训练7000步（批量大小为64）完成微调，交替使用高低分辨率批次（按比例）以保持基础模型在更高分辨率的原有性能。

注意： 需要重申的是，SDXL-512的训练目标并非要"优于"SDXL，而是为了简化在512x512分辨率及附近生成高保真输出的提示过程。

• 推荐搭配Hotshot-XL使用

模型描述

• 开发者: Natural Synthetics Inc.
• 模型类型: 基于扩散的文本生成图像模型
• 许可证: CreativeML Open RAIL++-M License
• 模型说明: 该模型可用于生成和修改512x512分辨率及附近的高保真图像。
• 更多资源: 请访问我们的GitHub仓库。
• 基础模型: Stable Diffusion XL 1.0

🧨 Diffusers

确保升级diffusers至0.18.2或更高版本：

pip install diffusers --upgrade

同时安装transformers、safetensors、accelerate以及隐形水印：

pip install invisible_watermark transformers accelerate safetensors

运行管道（如果不切换调度器，默认使用EulerDiscreteScheduler，本例中我们切换为EulerAncestralDiscreteScheduler）：

from diffusers import StableDiffusionXLPipeline, EulerAncestralDiscreteScheduler

pipe = StableDiffusionXLPipeline.from_pretrained(
    "hotshotco/SDXL-512",
    use_safetensors=True,
).to('cuda')

pipe.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.scheduler.config)

prompt = "一位大笑的女性"
negative_prompt = ""

image = pipe(
    prompt,
    negative_prompt=negative_prompt,
    width=512,
    height=512,
    target_size=(1024, 1024),
    original_size=(4096, 4096),
    num_inference_steps=50
).images[0]

image.save("woman_laughing.png")

局限性与偏差

局限性

• 模型无法实现完美逼真度
• 模型无法生成清晰可读的文本
• 对涉及组合性的复杂任务（如渲染"蓝色球体上的红色立方体"图像）表现欠佳
• 面部及人物生成可能不够准确

偏差

尽管图像生成模型能力惊人，但也可能强化或加剧社会偏见。