license: apache-2.0 pipeline_tag: text-to-image

ControlNet深度SDXL模型，支持Zoe与Midas算法

效果展示

使用方法

from diffusers import ControlNetModel, StableDiffusionXLControlNetPipeline, AutoencoderKL
from diffusers import DDIMScheduler, EulerAncestralDiscreteScheduler
from PIL import Image
import torch
import random
import numpy as np
import cv2


from controlnet_aux import MidasDetector, ZoeDetector


zoe处理器 = ZoeDetector.from_pretrained("lllyasviel/Annotators")
midas处理器 = MidasDetector.from_pretrained("lllyasviel/Annotators")


控制网条件比例 = 1.0  
正向提示词 = "请填写详细提示词，描述越细致效果越好"
负向提示词 = '身体过长，低分辨率，解剖结构错误，手部异常，缺指多指，裁剪痕迹，劣质画面'

欧拉调度器 = EulerAncestralDiscreteScheduler.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", subfolder="scheduler")


控制网模型 = ControlNetModel.from_pretrained(
    "xinsir/controlnet-depth-sdxl-1.0",
    torch_dtype=torch.float16
)

# 测试其他基础模型时需同步更换VAE
变分自编码器 = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)

管道 = StableDiffusionXLControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    controlnet=控制网模型,
    vae=变分自编码器,
    safety_checker=None,
    torch_dtype=torch.float16,
    scheduler=欧拉调度器,
)

# 建议将图像分辨率调整为1024*1024或相同比例以获得最佳效果

原始图像 = cv2.imread("输入图片路径")

if random.random() > 0.5:
    控制网图像 = zoe处理器(原始图像, output_type='cv2')
else:
    控制网图像 = midas处理器(原始图像, output_type='cv2')


高度, 宽度, _  = 控制网图像.shape
缩放比例 = np.sqrt(1024. * 1024. / (宽度 * 高度))
新宽度, 新高度 = int(宽度 * 缩放比例), int(高度 * 缩放比例)
控制网图像 = cv2.resize(控制网图像, (新宽度, 新高度))
控制网图像 = Image.fromarray(控制网图像)


生成结果 = 管道(
    正向提示词,
    negative_prompt=负向提示词,
    image=控制网图像,
    controlnet_conditioning_scale=控制网条件比例,
    width=新宽度,
    height=新高度,
    num_inference_steps=30,
    ).images

生成结果[0].save(f"输出图片路径，PNG格式通常比JPG/WEBP画质更佳但体积更大")