许可证：openrail
基础模型：runwayml/stable-diffusion-v1-5
标签：

• 艺术
• controlnet
• stable-diffusion
• 图像到图像

ControlNet - 法线贴图版本

ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。
该检查点对应基于法线贴图估计的ControlNet模型。

可与Stable Diffusion结合使用。

模型详情

• 开发者: 张吕敏，Maneesh Agrawala

• 模型类型: 基于扩散的文本到图像生成模型

• 语言: 英语

• 许可证: CreativeML OpenRAIL M许可证改编自BigScience与RAIL倡议在负责任AI许可领域的合作成果，详见BLOOM Open RAIL许可证文章。

• 更多资源: GitHub仓库，论文。

• 引用格式:

  @misc{zhang2023adding,
  title={为文本到图像扩散模型添加条件控制},
  author={张吕敏 and Maneesh Agrawala},
  year={2023},
  eprint={2302.05543},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
  }

简介

ControlNet由张吕敏和Maneesh Agrawala在论文为文本到图像扩散模型添加条件控制中提出。

摘要如下：

我们提出ControlNet神经网络结构，通过额外输入条件控制预训练大型扩散模型。该结构能端到端学习任务特定条件，即使在小训练集（<5万）下仍保持稳健。训练速度与扩散模型微调相当，可在个人设备上完成。若配备计算集群，可扩展至百万级数据。实验表明，Stable Diffusion等大型模型通过ControlNet能支持边缘图、分割图、关键点等条件输入，这将丰富控制大模型的方法并推动相关应用。

已发布检查点

作者发布了8个不同检查点，均基于Stable Diffusion v1-5训练，对应不同控制类型：

模型名称	控制图像概述	控制图示例	生成图示例
lllyasviel/sd-controlnet-canny 基于Canny边缘检测训练	黑白边缘图（白边黑底）
lllyasviel/sd-controlnet-depth 基于Midas深度估计训练	灰度深度图（黑深白浅）
lllyasviel/sd-controlnet-normal 基于法线贴图训练	法线贴图

（其他模型行保持相同格式翻译）

使用示例

建议配合Stable Diffusion v1-5使用，实验表明也可适配其他扩散模型如dreambooth微调版。

1. 安装依赖库：

pip install diffusers transformers accelerate

2. 运行代码：

（完整代码块保持原样，仅注释部分翻译）
# 深度估计管道
# 使用Sobel算子处理图像
# 启用xformers加速注意机制

训练过程

法线模型分两阶段训练：

• 初始模型: 在DIODE数据集的25,452组法线图-标题对上训练（标题由BLIP生成），使用A100 80G显卡训练100小时
• 扩展模型: 在通过Midas深度图转化的"粗糙"法线图上继续训练200小时

博客文章

详见官方ControlNet博客文章。