许可证：其他 许可证名称：stabilityai-ai-community 许可证链接：LICENSE.md 标签：

• stable-diffusion
• controlnet 推理：true 额外授权提示：>- 点击“同意”即表示您同意许可协议 并确认已阅读Stability AI的隐私政策。 额外授权字段： 姓名：文本 邮箱：文本 国家：国家选择 组织或隶属机构：文本 是否接收Stability AI产品、服务及研究的邮件更新与促销？： 类型：选择 选项：
  • '是'
  • '否' 您计划如何使用该模型？： 类型：选择 选项：
  • 研究用途
  • 个人使用
  • 创意专业人士
  • 初创企业
  • 大型企业 我同意许可协议并确认Stability AI的隐私政策：复选框

语言：

• en 管道标签：文本生成图像

Stable Diffusion 3.5 ControlNets

模型

本仓库提供多个专为Stable Diffusion 3.5 Large设计的ControlNet模型。

支持的控制类型包括：

• Canny边缘检测：通过Canny边缘图引导生成图像结构，特别适用于插画创作，同时兼容所有风格。
• 深度图：利用DepthFM生成的深度图指导生成，典型应用包括建筑效果图生成或3D资产贴图。
• 模糊处理：用于实现超高保真度图像放大。常见用法是将输入图像分块处理，对每个区块应用ControlNet后合并，生成高分辨率图像。详细方法参见此说明。
  • ComfyUI用户可安装此扩展获得支持。
  • 建议区块尺寸设置在128至512像素之间。

当前发布的ControlNet模型仅兼容Stable Diffusion 3.5 Large（8B版本）。未来将陆续添加2B版本及其他控制类型。

注意：本模型基于Stability社区许可协议发布。商业授权请访问Stability AI官网或联系我们。

许可要点

• 非商业用途免费：个人及组织可免费用于非商业用途，包括科研。
• 商业用途免费（年收入<$100万）：年收入低于100万美元的初创企业、中小型公司及创作者可免费商用。
• 输出所有权：生成内容的所有权归使用者所有，无限制性许可条款。

年收入超过100万美元的组织请通过此链接联系获取企业授权。

使用方式

本地或自托管推荐使用节点式UI工具ComfyUI，或编程调用独立SD3.5仓库。

🧨 Diffusers集成

各控制类型的独立仓库说明：

• 深度图
• 模糊处理
• Canny边缘

ComfyUI使用指南

详见ComfyUI公告博客，包含示例工作流。

独立仓库调用

安装步骤：

git clone git@github.com:Stability-AI/sd3.5.git
pip install -r requirements.txt

下载模型及示例：

input/canny.png
models/clip_g.safetensors
models/clip_l.safetensors
models/t5xxl.safetensors
models/sd3.5_large.safetensors
models/sd3.5_large_controlnet_canny.safetensors

运行命令：

python sd3_infer.py --controlnet_ckpt models/sd3.5_large_controlnet_canny.safetensors --controlnet_cond_image input/canny.png --prompt "一只可爱的粉彩绒毛生物"

生成效果示例：

注意：输入图像需预先处理，独立仓库不包含预处理代码。

预处理代码

Canny边缘

import torchvision.transforms.functional as F
# 假设img为PIL图像
img = F.to_tensor(img)
img = cv2.cvtColor(img.transpose(1, 2, 0), cv2.COLOR_RGB2GRAY)
img = cv2.Canny(img, 100, 200)

模糊处理

import torchvision.transforms as transforms
# 假设img为PIL图像
gaussian_blur = transforms.GaussianBlur(kernel_size=50)
blurred_image = gaussian_blur(img)

深度图

# 从https://github.com/CompVis/depth-fm安装depthfm
import torchvision.transforms as transforms
from depthfm.dfm import DepthFM
depthfm_model = DepthFM(ckpt_path=checkpoint_path)
depthfm_model.eval()

# 假设img为PIL图像
img = F.to_tensor(img)
c, h, w = img.shape
img = F.interpolate(img, (512, 512), mode='bilinear', align_corners=False)
with torch.no_grad():
  img = self.depthfm_model(img, num_steps=2, ensemble_size=4)
img = F.interpolate(img, (h, w), mode='bilinear', align_corners=False)

优化建议

• ControlNet强度建议初始值0.7-0.8，按需调整
• Euler采样器配合50-60步数在Canny控制下效果最佳
• 添加--text_encoder_device <设备名>参数可加速推理（需额外显存）

使用限制

所有使用需遵守可接受使用政策。

非适用场景

本模型未针对人物/事件的事实性呈现进行训练，相关生成内容超出模型能力范围。

训练数据

模型基于合成数据及筛选的公开数据训练。

安全性

我们秉持负责任AI理念，开发全程贯彻安全措施。更多信息请访问安全页面。

完整性评估

通过结构化评估和红队测试识别潜在风险（主要针对英语场景）。

风险与缓解

• 有害内容：已部署防护机制，但无法完全消除风险。开发者应根据自身需求建立内容安全措施。
• 滥用风险：技术限制结合用户教育可降低恶意使用概率。所有用户须遵守可接受使用政策。
• 隐私保护：建议开发者遵循隐私法规实施数据保护方案。

致谢

• ControlNet论文作者Lvmin Zhang、Anyi Rao和Maneesh Agrawala
• Tile ControlNet开发者Lvmin Zhang
• Diffusers库开发团队
• InstantX研究团队
• 所有测试人员及Stability AI团队

联系方式

问题反馈渠道：

• 安全问题：safety@stability.ai
• 技术问题：security@stability.ai
• 隐私问题：privacy@stability.ai
• 许可咨询：https://stability.ai/license
• 企业授权：https://stability.ai/enterprise