许可证：creativeml-openrail-m
基础模型：runwayml/stable-diffusion-v1-5
标签：

• stable-diffusion
• stable-diffusion-diffusers
• diffusers
• controlnet
• jax-diffusers-event
• 图像到图像
  推理：true
  数据集：
• mfidabel/sam-coyo-2k
• mfidabel/sam-coyo-2.5k
• mfidabel/sam-coyo-3k
  语言：
• 英语
  库名称：diffusers

ControlNet - mfidabel/controlnet-segment-anything

这些是基于runwayml/stable-diffusion-v1-5训练的ControlNet权重，采用了一种新型的条件控制方式。以下是一些示例图像：

提示词：现代风格的客厅
负面提示词：低质量

提示词：纽约建筑，文森特·梵高《星月夜》风格
负面提示词：低质量，单色

提示词：现代客厅，高品质，4K，写实风格
负面提示词：低质量，单色，低分辨率

模型详情

• 模型类型：基于扩散的文本到图像生成模型，支持ControlNet条件控制
• 支持语言：英语
• 许可证：CreativeML OpenRAIL M许可证是一种开放责任AI许可证，改编自BigScience和RAIL Initiative在负责任AI许可领域的联合工作。详情可参考我们许可证所基于的BLOOM Open RAIL许可证文章。
• 模型描述：该模型用于基于文本提示和分割图生成图像，分割图作为生成图像的模板。

局限性与偏差

• 模型无法渲染文字
• 包含较少分割区域的风景图像渲染效果更佳
• 部分分割图可能导致生成单色图像（可通过负面提示词规避）
• 部分生成图像可能色彩过饱和
• 较短的提示词通常效果更好，只要其与输入分割图逻辑相符
• 由于训练数据集中包含大量绘画作品，模型倾向于生成艺术画风而非写实图像

训练

训练数据
本模型基于COYO-700M数据集的分割版本训练，使用Stable Diffusion v1.5作为ControlNet的基础模型。

可通过此Colab获取任意图像的分割图：

训练步骤如下：

• 使用SAM-COYO-2k数据集训练25,000步
• 使用SAM-COYO-2.5k数据集训练28,000步
• 使用SAM-COYO-3k数据集训练38,000步
  按此顺序依次训练。

训练细节

• 硬件：Google Cloud TPUv4-8虚拟机
• 优化器：AdamW
• 训练批次大小：2×4=8
• 学习率：恒定0.00001
• 梯度累积步数：1
• 分辨率：512

环境影响
基于机器学习碳排放计算器估算：

• 硬件类型：TPUv3芯片（计算时TPUv4尚未发布）
• 训练时长：8小时
• 云服务商：Google Cloud Platform
• 计算区域：us-central1
• 碳排放量（功耗×时间×当地电网碳强度）：
  283瓦×8小时=2.26千瓦时×0.57千克二氧化碳当量/千瓦时=1.29千克二氧化碳当量