许可证：openrail++ 基础模型：stabilityai/stable-diffusion-xl-base-1.0 标签：

• stable-diffusion-xl
• stable-diffusion-xl-diffusers
• 文本生成图像
• diffusers
• instruct-pix2pix 推理：false 数据集：
• timbrooks/instructpix2pix-clip-filtered

SDXL InstructPix2Pix (768x768)

对Stable Diffusion XL (SDXL)进行指令微调，采用InstructPix2Pix方法。部分效果如下：

编辑指令："将天空变为多云"

编辑指令："将其变成毕加索风格的画作"

编辑指令："让人物看起来更老"

在🧨 diffusers中的使用

首先确保安装以下库：

pip install accelerate transformers
pip install git+https://github.com/huggingface/diffusers

import torch
from diffusers import StableDiffusionXLInstructPix2PixPipeline
from diffusers.utils import load_image

分辨率 = 768
图片 = load_image(
    "https://hf.co/datasets/diffusers/diffusers-images-docs/resolve/main/mountain.png"
).resize((分辨率, 分辨率))
编辑指令 = "将天空变为多云"

管道 = StableDiffusionXLInstructPix2PixPipeline.from_pretrained(
    "diffusers/sdxl-instructpix2pix-768", torch_dtype=torch.float16
).to("cuda")

编辑后的图片 = 管道(
    prompt=编辑指令,
    image=图片,
    height=分辨率,
    width=分辨率,
    guidance_scale=3.0,
    image_guidance_scale=1.5,
    num_inference_steps=30,
).images[0]
编辑后的图片.save("edited_image.png")

更多详情，请参阅文档。

🚨 请注意，此检查点本质上是实验性的，仍有很大的改进空间。请使用本仓库的“讨论”标签提出问题并进行讨论。🚨

训练

我们在768x768的图像分辨率下，使用5e-6的固定学习率，对SDXL进行了15000步的InstructPix2Pix方法微调。

我们的训练脚本和其他工具可以在这里找到，它们基于我们的官方训练脚本构建。

训练日志可在Weights and Biases上查看此处。有关所有超参数的详细信息，请参考此链接。

训练数据

我们使用了以下数据集：timbrooks/instructpix2pix-clip-filtered。

计算资源

一台配备8块A100显卡的机器。

批量大小

数据并行，单GPU批量大小为8，总批量大小为32。

混合精度

FP16