Sd Controlnet Seg

由 lllyasviel 开发

ControlNet是一种通过添加图像分割条件来控制Stable Diffusion生成结果的神经网络结构。

图像生成

其他

开源协议:Openrail #语义分割控制 #图像条件生成 #精细结构保持

下载量 4,186

发布时间 : 2/24/2023

模型介绍

内容详情

替代品

模型简介

该模型基于图像分割条件训练，可与Stable Diffusion结合使用，实现对生成图像的精确控制。

模型特点

图像分割控制

通过输入语义分割图精确控制生成图像的构图和布局

小数据训练

即使训练数据集较小（<5万）也能稳健学习任务特定条件

高效训练

训练速度与微调扩散模型相当，可在个人设备上完成

模型能力

基于分割图的图像生成

图像合成控制

构图精确控制

使用案例

创意设计

室内设计可视化

根据房间布局分割图生成不同风格的室内设计效果图

可精确保持原始布局的同时变换设计风格

概念艺术创作

使用简化的分割图快速生成详细的概念艺术作品

加速艺术创作流程，保持构图一致性

教育研究

计算机视觉教学

演示图像分割与生成模型的结合应用

直观展示分割图对生成结果的控制效果

许可协议：开放轨道基础模型：runwayml/stable-diffusion-v1-5 标签：

艺术
控制网络
稳定扩散
图像到图像

控制网络 - 图像分割版

ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。
该检查点对应基于图像分割条件的ControlNet。

可与Stable Diffusion结合使用。

示例图片

模型详情

开发者： 张吕敏，Maneesh Agrawala
模型类型： 基于扩散的文本到图像生成模型
语言： 英语
许可证： CreativeML OpenRAIL M许可证，改编自BigScience和RAIL倡议在负责任AI许可领域的合作成果。参见基于BLOOM Open RAIL许可证的条款。
更多资源： GitHub仓库，论文。
引用方式：

@misc{zhang2023adding, title={Adding Conditional Control to Text-to-Image Diffusion Models}, author={Lvmin Zhang and Maneesh Agrawala}, year={2023}, eprint={2302.05543}, archivePrefix={arXiv}, primaryClass={cs.CV} }

简介

ControlNet由张吕敏和Maneesh Agrawala在论文Adding Conditional Control to Text-to-Image Diffusion Models中提出。

摘要如下：

我们提出了一种神经网络结构ControlNet，用于控制预训练的大型扩散模型以支持额外的输入条件。
ControlNet以端到端方式学习任务特定条件，即使训练数据集较小（<5万）也能稳健学习。
训练ControlNet与微调扩散模型速度相当，可在个人设备上完成。
若拥有强大计算集群，该模型可扩展至海量数据（数百万到数十亿）。
实验表明，像Stable Diffusion这样的大型扩散模型可通过ControlNet增强，支持边缘图、分割图、关键点等条件输入。
这将丰富控制大型扩散模型的方法，并进一步推动相关应用。

已发布检查点

作者发布了8个不同检查点，均基于Stable Diffusion v1-5训练，对应不同条件类型：

模型名称	控制图像概述	控制图像示例	生成图像示例
lllyasviel/sd-controlnet-canny 基于Canny边缘检测训练	黑白图像，黑色背景上显示白色边缘。	示例图	生成图
lllyasviel/sd-controlnet-depth 基于Midas深度估计训练	灰度图像，黑色代表深区域，白色代表浅区域。	示例图	生成图
lllyasviel/sd-controlnet-hed 基于HED边缘检测（软边缘）训练	黑白图像，黑色背景上显示白色软边缘。	示例图	生成图
lllyasviel/sd-controlnet-mlsd 基于M-LSD线条检测训练	黑白图像，黑色背景上仅显示白色直线。	示例图	生成图
lllyasviel/sd-controlnet-normal 基于法线贴图训练	法线贴图图像。	示例图	生成图
lllyasviel/sd-controlnet_openpose 基于OpenPose骨骼图像训练	OpenPose骨骼图像。	示例图	生成图
lllyasviel/sd-controlnet_scribble 基于手绘涂鸦训练	手绘黑白图像，黑色背景上显示白色轮廓。	示例图	生成图
lllyasviel/sd-controlnet_seg 基于语义分割训练	ADE20K分割协议图像。	示例图	生成图

示例

建议与Stable Diffusion v1-5配合使用。
实验表明，该检查点也可与其他扩散模型（如dreamboothed stable diffusion）结合使用。

安装diffusers及相关包：

$ pip install diffusers transformers accelerate

需要定义如语义分割所述的调色板：

palette = np.asarray([
    [0, 0, 0],
    [120, 120, 120],
    [180, 120, 120],
    [6, 230, 230],
    [80, 50, 50],
    [4, 200, 3],
    [120, 120, 80],
    [140, 140, 140],
    [204, 5, 255],
    [230, 230, 230],
    [4, 250, 7],
    [224, 5, 255],
    [235, 255, 7],
    [150, 5, 61],
    [120, 120, 70],
    [8, 255, 51],
    [255, 6, 82],
    [143, 255, 140],
    [204, 255, 4],
    [255, 51, 7],
    [204, 70, 3],
    [0, 102, 200],
    [61, 230, 250],
    [255, 6, 51],
    [11, 102, 255],
    [255, 7, 71],
    [255, 9, 224],
    [9, 7, 230],
    [220, 220, 220],
    [255, 9, 92],
    [112, 9, 255],
    [8, 255, 214],
    [7, 255, 224],
    [255, 184, 6],
    [10, 255, 71],
    [255, 41, 10],
    [7, 255, 255],
    [224, 255, 8],
    [102, 8, 255],
    [255, 61, 6],
    [255, 194, 7],
    [255, 122, 8],
    [0, 255, 20],
    [255, 8, 41],
    [255, 5, 153],
    [6, 51, 255],
    [235, 12, 255],
    [160, 150, 20],
    [0, 163, 255],
    [140, 140, 140],
    [250, 10, 15],
    [20, 255, 0],
    [31, 255, 0],
    [255, 31, 0],
    [255, 224, 0],
    [153, 255, 0],
    [0, 0, 255],
    [255, 71, 0],
    [0, 235, 255],
    [0, 173, 255],
    [31, 0, 255],
    [11, 200, 200],
    [255, 82, 0],
    [0, 255, 245],
    [0, 61, 255],
    [0, 255, 112],
    [0, 255, 133],
    [255, 0, 0],
    [255, 163, 0],
    [255, 102, 0],
    [194, 255, 0],
    [0, 143, 255],
    [51, 255, 0],
    [0, 82, 255],
    [0, 255, 41],
    [0, 255, 173],
    [10, 0, 255],
    [173, 255, 0],
    [0, 255, 153],
    [255, 92, 0],
    [255, 0, 255],
    [255, 0, 245],
    [255, 0, 102],
    [255, 173, 0],
    [255, 0, 20],
    [255, 184, 184],
    [0, 31, 255],
    [0, 255, 61],
    [0, 71, 255],
    [255, 0, 204],
    [0, 255, 194],
    [0, 255, 82],
    [0, 10, 255],
    [0, 112, 255],
    [51, 0, 255],
    [0, 194, 255],
    [0, 122, 255],
    [0, 255, 163],
    [255, 153, 0],
    [0, 255, 10],
    [255, 112, 0],
    [143, 255, 0],
    [82, 0, 255],
    [163, 255, 0],
    [255, 235, 0],
    [8, 184, 170],
    [133, 0, 255],
    [0, 255, 92],
    [184, 0, 255],
    [255, 0, 31],
    [0, 184,