许可证: openrail++ 基础模型: stabilityai/stable-diffusion-xl-base-1.0 标签:

• stable-diffusion-xl
• stable-diffusion-xl-diffusers
• 文本生成图像
• diffusers
• controlnet 推理: false

SDXL-controlnet: Zoe-Depth 模型

这些是基于stabilityai/stable-diffusion-xl-base-1.0训练、采用Zoe深度条件控制的ControlNet权重。Zoe-depth是一个开源的最先进深度估计模型，能生成更优质、更适合作为控制条件的深度图。

下方展示了一些示例图像：

使用说明

首先确保安装以下库：

pip install accelerate transformers safetensors diffusers

然后配置Zoe-depth模型：

（此处保留原代码，仅翻译注释）
# 触发MiDaS仓库的新下载
torch.hub.help("intel-isl/MiDaS", "DPT_BEiT_L_384", force_reload=True)  
# 加载预训练的ZoeD_NK模型并设置为评估模式
model_zoe_n = torch.hub.load("isl-org/ZoeDepth", "ZoeD_NK", pretrained=True).eval()
model_zoe_n = model_zoe_n.to("cuda")

（后续颜色映射函数代码保留，仅翻译关键注释）
# 数值归一化处理
# 无效值灰显处理
# 伽马校正

现在可以开始使用：

（此处保留原代码，关键注释翻译）
# 加载ControlNet模型（半精度）
# 加载FP16修复版VAE
# 启用模型CPU卸载以节省显存

prompt = "像素风玛格特·罗比饰演的芭比，坐在双门轿跑中。低分辨率、块状像素艺术风格，8位图形"
negative_prompt = "粗糙、杂乱、模糊、噪点多、高细节、超质感、照片级、写实风格"
（后续图像生成代码保留）

# 保存生成的像素风芭比图像
images[0].save(f"pixel-barbie.png")

更多细节请查阅官方文档：StableDiffusionXLControlNetPipeline

训练过程

我们的训练脚本基于官方提供的SDXL ControlNet训练方案构建。

训练数据与算力

• 使用LAION-Aesthetics V2数据集的300万图文对进行训练
• 在80GB显存的A100 GPU上累计训练700小时

批处理设置

• 单GPU批大小为8
• 通过数据并行实现总批大小256

超参数

• 恒定学习率1e-5

精度模式

• FP16混合精度训练