许可证: 其他 许可证名称: stabilityai-ai-community 许可证链接: LICENSE.md 标签:

• stable-diffusion
• controlnet 推理: true 额外授权提示: >- 点击"同意"即表示您同意许可协议 并确认已阅读Stability AI的隐私政策。 额外授权字段: 姓名: 文本 邮箱: 文本 国家: 国家选择 所属机构: 文本 是否接收Stability AI产品、服务及研究的邮件更新与促销信息？: 类型: 下拉选择 选项:
  • '是'
  • '否' 模型使用用途: 类型: 下拉选择 选项:
  • 学术研究
  • 个人使用
  • 创意设计
  • 初创企业
  • 商业机构 我已阅读并同意许可协议及Stability AI隐私政策: 复选框

支持语言:

• 英文 任务标签: 文生图

Stable Diffusion 3.5大模型Controlnet - 模糊控制

模型说明

本仓库提供Stable Diffusion 3.5大模型的模糊控制网络。

重要提示：本模型基于Stability社区许可协议发布。访问Stability AI官网了解详情，或联系商业授权获取企业许可。

许可条款

核心许可条款包括：

• 非商业用途免费：个人及组织可免费将模型用于非商业用途，包括科研活动
• 商业用途免费（年营收低于100万美元）：年收入不足100万美元的初创企业、中小型公司及创作者可免费商用
• 输出内容所有权：生成作品的所有权归使用者所有，无限制性许可条款

年营收超过100万美元的组织，请通过企业授权通道联系洽谈。

使用指南

在SD3.5独立仓库中使用Controlnet

安装仓库：

git clone git@github.com:Stability-AI/sd3.5.git
pip install -r requirements.txt

按以下结构下载模型及示例图片：

input/sample_cond.png
models/clip_g.safetensors
models/clip_l.safetensors
models/t5xxl.safetensors
models/sd3.5_large.safetensors
models/canny_8b.safetensors

执行命令：

python sd3_infer.py --controlnet_ckpt models/blur_8b.safetensors --controlnet_cond_image input/sample_cond.png --prompt "冲浪的鸭子，3D卡通艺术风格"

将生成如下效果图：

通过Diffusers使用

确保安装最新版diffusers：pip install -U diffusers，然后运行：

import torch
from diffusers import StableDiffusion3ControlNetPipeline,SD3ControlNetModel
from diffusers.utils import load_image

controlnet = SD3ControlNetModel.from_pretrained("stabilityai/stable-diffusion-3.5-large-controlnet-blur", torch_dtype=torch.float16)
pipe = StableDiffusion3ControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-3.5-large",
    controlnet=controlnet,
    torch_dtype=torch.float16
).to("cuda")

control_image = load_image("https://huggingface.co/datasets/diffusers/diffusers-images-docs/resolve/main/blur.png")
prompt = "AI生成艺术，特写镜头中迷你的橡皮鸭在巨浪中冲浪，浪管内部，Kelly Slater风格"

generator = torch.Generator(device="cpu").manual_seed(0)
image = pipe(
    prompt, 
    control_image=control_image, 
    guidance_scale=3.5,
    num_inference_steps=60,
    generator=generator,
    max_sequence_length=77,
).images[0]
image.save('blur-8b.jpg')

预处理方法

可通过以下代码预处理控制图像（SD3.5未内置此功能，建议外部预处理）：

import torchvision.transforms as transforms
# 假设img是PIL图像对象
gaussian_blur = transforms.GaussianBlur(kernel_size=50)
blurred_image = gaussian_blur(image)

使用技巧

• 建议初始控制强度设为0.9，后续按需调整
• 使用Euler采样器配合50-60步数可获得最佳效果（尤其是边缘检测控制）
• 添加--text_encoder_device <设备名>参数可将文本编码器直接加载至显存，提升推理速度（需额外显存）

适用范围

所有使用行为必须符合可接受使用政策。

非适用场景

本模型未针对人物/事件的事实性呈现进行训练，因此生成此类内容超出模型设计范围。

训练数据与策略

模型训练数据包含合成数据及经过筛选的公开数据。

安全声明

我们秉持负责任AI理念，在开发初期即采取完整性保障措施。这意味着我们已持续采取合理步骤防止Stable Diffusion 3.5被恶意滥用。更多安全措施详见安全页面。

完整性评估

通过结构化评估和红队测试验证特定风险。测试主要基于英语环境，可能无法覆盖所有潜在风险。

已识别风险及缓解措施：

• 有害内容：采用过滤数据集训练并设置安全防护，但无法保证完全消除。开发者应根据产品政策部署内容安全措施
• 滥用风险：通过技术限制和用户教育降低恶意使用可能。所有用户须遵守可接受使用政策
• 隐私风险：建议开发者遵循隐私法规，采用数据保护技术

致谢名单

• ControlNet原始论文作者团队
• Tile ControlNet开发者
• Diffusers库开发团队
• InstantX研究团队
• 所有模型测试人员及Stability AI团队成员

联系方式

问题反馈渠道：

• 安全问题：safety@stability.ai
• 技术问题：security@stability.ai
• 隐私问题：privacy@stability.ai
• 许可咨询：https://stability.ai/license
• 企业合作：https://stability.ai/enterprise