许可证：apache-2.0
语言：

• 英文
  标签：
• Kolors
• 文生图
• 稳定扩散
  库名称：diffusers

Kolors-ControlNet深度权重与推理代码

📖 简介

我们基于Kolors-Basemodel提供了两种ControlNet权重及推理代码：Canny边缘检测与深度图控制。下方展示部分生成示例。

1、ControlNet效果演示

2、ControlNet与IP-Adapter-Plus联合演示
我们还支持Kolors-IPadapter与Kolors-ControlNet的联合推理。

📊 性能评估

为客观评估模型表现，我们构建了包含200+测试图像与文本提示的数据集，邀请多位图像专家从四个维度进行评分：视觉吸引力、文本契合度、条件控制力（衡量ControlNet保持空间结构的能力）和整体满意度。具体结果如下表所示，Kolors-ControlNet在各维度均表现更优。

1、Canny边缘控制

2、深度图控制

对比模型SDXL-ControlNet以DreamShaper-XL为基底模型

🛠️ 使用指南

环境要求

依赖项与安装步骤同Kolors-BaseModel。

权重下载：

# Canny-ControlNet  
huggingface-cli download --resume-download Kwai-Kolors/Kolors-ControlNet-Canny --local-dir weights/Kolors-ControlNet-Canny  

# Depth-ControlNet  
huggingface-cli download --resume-download Kwai-Kolors/Kolors-ControlNet-Depth --local-dir weights/Kolors-ControlNet-Depth  

若需使用深度估计网络，请额外下载权重：

huggingface-cli download lllyasviel/Annotators ./dpt_hybrid-midas-501f0c75.pt --local-dir ./controlnet/annotator/ckpts  

推理示例：

a. Canny控制网：

python ./controlnet/sample_controlNet.py ./controlnet/assets/woman_1.png "一个漂亮的女孩，高品质，超清晰，色彩鲜艳，超高分辨率，最佳品质，8k，高清，4K" Canny  

python ./controlnet/sample_controlNet.py ./controlnet/assets/dog.png "全景，一只可爱的白色小狗坐在杯子里，看向镜头，动漫风格，3d渲染，辛烷值渲染" Canny  
# 结果保存至controlnet/outputs/  

b. 深度控制网：

python ./controlnet/sample_controlNet.py ./controlnet/assets/woman_2.png "新海诚风格，丰富的色彩，穿着绿色衬衫的女人站在田野里，唯美风景，清新明亮，斑驳的光影，最好的质量，超细节，8K画质" Depth  

python ./controlnet/sample_controlNet.py ./controlnet/assets/bird.png "一只颜色鲜艳的小鸟，高品质，超清晰，色彩鲜艳，超高分辨率，最佳品质，8k，高清，4K" Depth  

c. 深度控制网+IP-Adapter-Plus：
使用前请确保已下载IP-Adapter-Plus权重。

python ./controlnet/sample_controlNet_ipadapter.py ./controlnet/assets/woman_2.png ./ipadapter/asset/2.png "一个红色头发的女孩，唯美风景，清新明亮，斑驳的光影，最好的质量，超细节，8K画质" Depth  

致谢

• 感谢ControlNet提供的代码基础。