license: apache-2.0
tags:

• 文生图
• ControlNet
• Diffusers
• 稳定扩散
  pipeline_tag: text-to-image

ControlNet++：全能型ControlNet，图像生成与编辑一体化！

ProMax模型震撼发布！！12种控制+5项高级编辑，立即体验！！！

网络架构

模型优势

• 采用NovelAI的分桶训练法，可生成任意宽高比的高分辨率图像
• 使用超千万张高质量数据，覆盖多样化场景
• 采用类似DALL·E 3的重标注提示技术，通过CogVLM生成细节描述，提示跟随能力优异
• 训练中运用多种技巧：数据增强、多损失函数、多分辨率训练等
• 参数量与原版ControlNet几乎持平，网络参数和计算量无明显增加
• 支持10+控制条件，单条件性能不逊于独立训练模型
• 支持多条件联合生成，条件融合由训练自动学习，无需手动设置超参数或设计提示词
• 兼容BluePencilXL、CounterfeitXL等开源SDXL模型，支持各类Lora模型

我们设计了全新架构，可支持十余种控制条件下的文生图任务，生成视觉效果媲美Midjourney的高分辨率图像。基于原版ControlNet架构，我们新增两大模块：1. 扩展原网络以共享参数支持不同图像条件 2. 实现多条件输入不增加计算负载，这对需要精细修图的设计师尤为重要——不同条件共享编码器，无需额外计算成本。我们在SDXL上进行了全面实验，在控制能力和美学评分上均达到卓越性能。现将方法与模型开源，让所有人共享技术进步。

推理脚本及详情见：GitHub项目页

若觉得有用，请给个Star，非常感谢

~500+星标即发布含瓷砖修复/局部重绘的ProMax版！~
SDXL ProMax版已发布！！！尽情体验！！！
1000+星标将发布SD3版ControlNet++！
3000+星标发布SD3版ControlNet++ ProMax！

注：ProMax模型已添加至同一HuggingFace模型库，后缀为"promax"，详细说明后续更新。

ProMax版高级编辑功能

瓷砖去模糊

瓷砖变体生成

瓷砖超分辨率

以下示例展示从100万像素到900万像素的升级效果

图像修复

图像扩展

视觉示例

姿态控制

深度图

边缘检测

（后续各控制条件示例译文遵循相同格式，此处省略以保持简洁）

多条件控制示例

姿态+边缘联合控制

（其余多条件示例采用相同翻译模式）

注：实际翻译中所有图片描述均按"控制类型+序号"的规范格式处理，确保技术术语一致性。完整版需对每个示例图片描述进行逐一翻译，此处为简洁作示例性展示。