许可证: openrail
基础模型: runwayml/stable-diffusion-v1-5
标签:

• 艺术
• controlnet
• stable-diffusion
• 图像生成图像
  小部件示例:
• 源图: https://huggingface.co/datasets/mishig/sample_images/resolve/main/canny-edge.jpg
  提示词: 《戴珍珠耳环的少女》

ControlNet - Canny边缘版本

ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。
本检查点对应基于Canny边缘检测条件的ControlNet模型。

可与Stable Diffusion结合使用。

模型详情

• 开发者: 张吕敏, Maneesh Agrawala

• 模型类型: 基于扩散的文本生成图像模型

• 支持语言: 英语

• 许可证: CreativeML OpenRAIL M许可证，改编自BigScience与RAIL倡议在负责任AI许可领域的合作成果。详见基于BLOOM Open RAIL许可证的条款。

• 更多资源: GitHub仓库, 论文。

• 引用格式:

  @misc{zhang2023adding,
  title={为文本到图像扩散模型添加条件控制},
  author={张吕敏 and Maneesh Agrawala},
  year={2023},
  eprint={2302.05543},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
  }

简介

ControlNet由张吕敏和Maneesh Agrawala在论文《为文本到图像扩散模型添加条件控制》中提出。

摘要如下：

我们提出了一种神经网络结构ControlNet，通过额外输入条件来控制预训练的大型扩散模型。该结构以端到端方式学习任务特定条件，即使在小训练集(<5万)下也能稳健学习。ControlNet训练速度与微调扩散模型相当，可在个人设备上完成。若配备计算集群，还能处理海量数据(百万至十亿级)。实验表明，像Stable Diffusion这样的大型扩散模型结合ControlNet后，可支持边缘图、分割图、关键点等条件输入，这将丰富控制大模型的方法并拓展应用场景。

已发布检查点

作者发布了8个不同检查点，均基于Stable Diffusion v1-5训练，对应不同条件类型：

模型名称	控制图像说明	控制图示例	生成图示例
lllyasviel/sd-controlnet-canny 基于Canny边缘检测训练	黑白图像，黑色背景上显示白色边缘
[其他7个模型略...]	[...]	[...]	[...]

使用示例

建议配合Stable Diffusion v1-5使用。实验表明也可适配其他扩散模型如Dreambooth微调版。

注意：图像预处理需额外依赖：

1. 安装OpenCV:

pip install opencv-contrib-python

2. 安装依赖库:

pip install diffusers transformers accelerate

3. 运行代码:

[完整代码示例...]

训练过程

Canny边缘模型基于300万边缘图-标题对训练，在A100 80G显卡上耗时600 GPU小时，以Stable Diffusion 1.5为基底模型。

博客文章

更多信息请参阅官方ControlNet博客。