许可协议：openrail++ 基础模型：stabilityai/stable-diffusion-xl-base-1.0 标签：

• stable-diffusion-xl
• stable-diffusion-xl-diffusers
• text-to-image
• diffusers
• controlnet
  推理：不支持

轻量级SDXL-controlnet：Canny边缘检测版

这是基于stabilityai/stable-diffusion-xl-base-1.0训练的小型控制网络权重，专用于Canny边缘检测条件控制。该检查点体积比原始XL控制网络小7倍。以下是部分生成示例：

提示词：鸟瞰视角，明亮雾霭丛林中的未来主义研究基地，硬光照明

提示词：特写女性肖像，细节精致，唯美街拍，照片级真实感，柯达Ektar 100胶片，自然抓拍

提示词：天启世界中的威震天，废墟城市背景，照片级真实感

提示词：情侣观赏日落，4K摄影作品

使用指南

首先安装依赖库：

pip install accelerate transformers safetensors opencv-python diffusers

运行示例代码：

from diffusers import ControlNetModel, StableDiffusionXLControlNetPipeline, AutoencoderKL
from diffusers.utils import load_image
from PIL import Image
import torch
import numpy as np
import cv2

prompt = "鸟瞰视角，明亮雾霭丛林中的未来主义研究基地，硬光照明"
negative_prompt = "低质量，劣质，草图"

image = load_image("https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/sd_controlnet/hf-logo.png")

controlnet_conditioning_scale = 0.5  # 推荐值以获得良好泛化性

controlnet = ControlNetModel.from_pretrained(
    "diffusers/controlnet-canny-sdxl-1.0-small",
    torch_dtype=torch.float16
)
vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    controlnet=controlnet,
    vae=vae,
    torch_dtype=torch.float16,
)
pipe.enable_model_cpu_offload()

image = np.array(image)
image = cv2.Canny(image, 100, 200)
image = image[:, :, None]
image = np.concatenate([image, image, image], axis=2)
image = Image.fromarray(image)

images = pipe(
    prompt, negative_prompt=negative_prompt, image=image, controlnet_conditioning_scale=controlnet_conditioning_scale,
).images

images[0].save(f"hug_lab.png")

更多细节请参阅StableDiffusionXLControlNetPipeline官方文档。

⚠️ 请注意该检查点仍属实验性质，存在较大改进空间。我们鼓励社区在此基础上继续优化并提供反馈。

训练说明

训练脚本基于我们提供的官方控制网络训练方案，完整实现可参考此脚本。

关键要点：

• 本检查点未采用蒸馏技术，仅使用从SDXL UNet初始化的小型控制网络。建议社区尝试结合蒸馏技术，可参考这篇指南
• 控制网络初始化方式详见代码段
• 模型未包含注意力模块
• 对多数条件图像表现良好，复杂条件场景建议使用更大检查点。我们正在持续改进并期待社区反馈
• 建议调整controlnet_conditioning_scale和guidance_scale参数以获得更佳生成效果

训练数据

使用LAION aesthetic 6+子集中的300万图像，批量256，训练5万步，恒定学习率3e-5

计算资源

8xA100服务器

精度模式

FP16混合精度