🚀 ControlNet++：用于图像生成和编辑的一体化ControlNet！

ControlNet++是一款强大的图像生成与编辑模型，支持多种控制条件，能生成高分辨率图像，视觉效果可与Midjourney相媲美。此外，其ProMax模型已发布，具备12种控制和5种高级编辑功能。

🚀 快速开始

推理脚本和更多详细信息可查看：https://github.com/xinsir6/ControlNetPlus/tree/main

✨ 主要特性

模型优势

• 高分辨率图像生成：采用类似NovelAI的桶训练方法，可生成任意宽高比的高分辨率图像。
• 高质量数据集：使用大量高质量数据（超过10000000张图像），数据集涵盖各种场景。
• 出色的提示跟随能力：采用类似DALLE.3的重新标注提示，使用CogVLM生成详细描述。
• 训练技巧丰富：训练过程中使用了许多实用技巧，包括但不限于数据增强、多损失函数、多分辨率训练。
• 参数与计算量控制：与原始ControlNet相比，使用几乎相同的参数，网络参数和计算量无明显增加。
• 多控制条件支持：支持10多种控制条件，与单独训练相比，在任何单一条件下性能均无明显下降。
• 多条件生成：支持多条件生成，条件融合在训练过程中学习，无需设置超参数或设计提示。
• 兼容性良好：与其他开源SDXL模型（如BluePencilXL、CounterfeitXL）兼容，也兼容其他Lora模型。

全新架构设计

我们设计了一种新的架构，可在条件文本到图像生成中支持10多种控制类型，并能生成视觉效果与Midjourney相媲美的高分辨率图像。该网络基于原始ControlNet架构，提出了两个新模块：

1. 扩展支持：扩展原始ControlNet，使用相同的网络参数支持不同的图像条件。
2. 多条件输入：支持多条件输入，且不增加计算负担，这对于想要详细编辑图像的设计师尤为重要。不同条件使用相同的条件编码器，无需添加额外的计算或参数。

我们在SDXL上进行了全面的实验，在控制能力和美学评分方面均取得了优异的性能。我们将该方法和模型开源，让每个人都能受益。

📚 详细文档

网络架构

模型展示

ProMax模型高级编辑功能

平铺去模糊

平铺变体

平铺超分辨率

以下示例展示了从1M分辨率提升到9M分辨率的效果：

图像修复

图像扩展

视觉示例

Openpose

深度

Canny

线稿

动漫线稿

MLSD

涂鸦

HED

Pidi（软边缘）

Teed

分割

法线

多控制视觉示例

Openpose + Canny

Openpose + 深度

Openpose + 涂鸦

Openpose + 法线

Openpose + 分割

📄 许可证

本项目采用Apache-2.0许可证。

⚠️ 重要提示

由于项目收支难以平衡，GPU资源已分配给更有可能盈利的其他项目，SD3训练已暂停，直到找到足够的GPU支持。我会尽力寻找GPU继续训练。对此带来的不便，我深表歉意。感谢每一位喜欢本项目的人，你们的支持是我前进的动力。

💡 使用建议

我们将带有promax后缀的ProMax模型放在了同一个Hugging Face模型仓库中，详细说明将在后续添加。

如果您觉得这个项目有用，请给我一个Star，非常感谢！SDXL ProMax版本已发布，快来体验吧！