license: apache-2.0 language:

• en tags:
• Kolors
• 文生图
• 稳定扩散 library_name: diffusers

Kolors-ControlNet-Canny 权重与推理代码

📖 简介

我们基于Kolors基础模型提供了两种ControlNet权重及推理代码：Canny边缘检测与深度图控制。下方展示部分生成示例。

1、ControlNet效果演示

2、ControlNet与IP-Adapter-Plus联合演示

我们还支持Kolors-IPadapter与Kolors-ControlNet的联合推理。

📊 性能评估

为客观评估模型表现，我们构建了包含200+测试图像与文本提示的数据集，邀请多位图像专家从四个维度进行评分：视觉美感、文本契合度、条件可控性（衡量controlnet保持空间结构的能力）和整体满意度。具体数据如下表所示，Kolors-ControlNet在各维度均表现优异。

1、Canny边缘控制

2、深度图控制

对比模型SDXL-ControlNet-Canny与SDXL-ControlNet-Depth均采用DreamShaper-XL作为基础模型

🛠️ 使用指南

环境要求

依赖项安装与Kolors基础模型要求一致。

权重下载：

# Canny-ControlNet
huggingface-cli download --resume-download Kwai-Kolors/Kolors-ControlNet-Canny --local-dir weights/Kolors-ControlNet-Canny

# Depth-ControlNet
huggingface-cli download --resume-download Kwai-Kolors/Kolors-ControlNet-Depth --local-dir weights/Kolors-ControlNet-Depth

如需使用深度估计网络，请额外下载对应权重：

huggingface-cli download lllyasviel/Annotators ./dpt_hybrid-midas-501f0c75.pt --local-dir ./controlnet/annotator/ckpts  

推理示例：

a. Canny边缘控制：

python ./controlnet/sample_controlNet.py ./controlnet/assets/woman_1.png "一个漂亮的女孩，高品质，超清晰，色彩鲜艳，超高分辨率，最佳品质，8k，高清，4K" Canny

python ./controlnet/sample_controlNet.py ./controlnet/assets/dog.png "全景，一只可爱的白色小狗坐在杯子里，看向镜头，动漫风格，3d渲染，辛烷值渲染" Canny

# 生成图像将保存至controlnet/outputs/

b. 深度图控制：

python ./controlnet/sample_controlNet.py ./controlnet/assets/woman_2.png "新海诚风格，丰富的色彩，穿着绿色衬衫的女人站在田野里，唯美风景，清新明亮，斑驳的光影，最好的质量，超细节，8K画质" Depth

python ./controlnet/sample_controlNet.py ./controlnet/assets/bird.png "一只颜色鲜艳的小鸟，高品质，超清晰，色彩鲜艳，超高分辨率，最佳品质，8k，高清，4K" Depth

c. 深度图控制+IP-Adapter-Plus联合使用： 使用前请确保已下载kolors-ip-adapter-plus权重。

python ./controlnet/sample_controlNet_ipadapter.py ./controlnet/assets/woman_2.png ./ipadapter/asset/2.png  "一个红色头发的女孩，唯美风景，清新明亮，斑驳的光影，最好的质量，超细节，8K画质" Depth

致谢

• 感谢ControlNet提供的代码基础。