license: other license_name: stabilityai-ai-community license_link: LICENSE.md tags:

• 文生图
• 稳定扩散
• 扩散模型 inference: true language:
• en pipeline_tag: text-to-image

无访问限制的Stable Diffusion 3.5 Large版本！

与原版完全一致，仅移除了访问限制机制重新发布。

模型架构

Stable Diffusion 3.5 Large是基于多模态扩散变换器（MMDiT）的文生图模型，在图像质量、文字排版、复杂提示词理解和资源效率方面均有显著提升。

重要说明：本模型基于Stability社区许可协议发布。商业授权请访问Stability AI官网或联系我们。

模型说明

• 开发机构: Stability AI
• 模型类型: 多模态扩散变换器文生图模型
• 功能描述: 该模型可根据文本提示生成图像，采用多模态扩散变换器架构，集成三个固定参数的预训练文本编码器，并应用QK归一化技术提升训练稳定性。

授权条款

• 社区许可: 年营收低于100万美元的组织或个人可免费用于研究、非商业及商业用途。详见社区许可协议，更多信息请访问https://stability.ai/license。
• 年营收超100万美元用户: 请联系商务团队获取企业授权。

模型资源

推荐本地部署方案：

• 节点式UI工具：ComfyUI

• 编程调用方案：diffusers库或GitHub仓库

• ComfyUI: GitHub, 示例工作流

• Huggingface空间: 体验空间

• Diffusers库: 参见下文

• GitHub: 代码仓库

• API接入点:

  • Stability官方API
  • Replicate平台
  • Deepinfra平台

技术细节

• QK归一化: 采用QK归一化技术确保训练稳定性

• 文本编码器组件:

  • CLIP模型: OpenCLIP-ViT/G, CLIP-ViT/L，上下文长度77token
  • T5模型: T5-xxl，训练不同阶段支持77/256token上下文

• 训练数据与策略:

  训练数据涵盖合成数据及经过筛选的公开数据集，具体细节可参阅研究论文。

性能表现

模型在提示词遵循度和美学质量方面的对比研究详见官方博客。

文件结构

点击查看文件版本列表

├── text_encoders/  
│   ├── README.md
│   ├── clip_g.safetensors
│   ├── clip_l.safetensors
│   ├── t5xxl_fp16.safetensors
│   └── t5xxl_fp8_e4m3fn.safetensors
│
├── README.md
├── LICENSE
├── sd3_large.safetensors
├── SD3.5L_example_workflow.json
└── sd3_large_demo.png

** diffusers集成专用文件结构 **
├── scheduler/
├── text_encoder/
├── text_encoder_2/
├── text_encoder_3/
├── tokenizer/
├── tokenizer_2/
├── tokenizer_3/
├── transformer/
├── vae/
└── model_index.json

使用diffusers库

请先升级至最新版diffusers库

pip install -U diffusers

运行示例代码：

import torch
from diffusers import StableDiffusion3Pipeline

pipe = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3.5-large", torch_dtype=torch.bfloat16)
pipe = pipe.to("cuda")

image = pipe(
    "举着'Hello World'标牌的水豚",
    num_inference_steps=28,
    guidance_scale=3.5,
).images[0]
image.save("capybara.png")

模型量化方案

通过量化降低显存占用，适配低配GPU：

pip install bitsandbytes

from diffusers import BitsAndBytesConfig, SD3Transformer2DModel
from diffusers import StableDiffusion3Pipeline
import torch

model_id = "stabilityai/stable-diffusion-3.5-large"

nf4_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)
model_nf4 = SD3Transformer2DModel.from_pretrained(
    model_id,
    subfolder="transformer",
    quantization_config=nf4_config,
    torch_dtype=torch.bfloat16
)

pipeline = StableDiffusion3Pipeline.from_pretrained(
    model_id, 
    transformer=model_nf4,
    torch_dtype=torch.bfloat16
)
pipeline.enable_model_cpu_offload()

prompt = "一幅充满奇思妙想的创意图像：在早餐主题的奇幻景观中，一只华夫饼与河马混合的生物正沐浴在黄油河流里。它保有河马标志性的敦实体型，但灰色皮肤被替换成刚出炉的金黄酥脆华夫饼质感，表皮呈现经典格子纹路，每个方格都淋着闪亮的糖浆。环境将河马的自然栖息地与早餐桌元素巧妙融合——黄油形成的温暖河流两岸，巨型餐具和餐盘从煎饼般的植被中探出，胡椒研磨器化作参天大树。当旭日升起时，黄油色的阳光洒满这个幻想世界。这只生物惬意地打着哈欠，近处有鸟群惊飞而起"

image = pipeline(
    prompt=prompt,
    num_inference_steps=28,
    guidance_scale=4.5,
    max_sequence_length=512,
).images[0]
image.save("whimsical.png")

微调指南

微调教程详见此处。

应用场景

推荐用途

包括但不限于：

• 艺术创作与设计辅助
• 教育/创意工具开发
• 生成模型研究（含局限性研究）

所有使用行为须遵守可接受使用政策。

非适用场景

本模型不适用于生成需要事实准确的人物/事件表征内容。

安全规范

我们贯彻"安全设计"理念，在开发全流程实施安全措施。虽然已部署风险缓解方案，但建议开发者根据具体场景进行额外测试。更多安全政策请访问安全中心。

完整性评估

通过结构化评估和红队测试验证潜在风险（主要基于英语环境）。

风险与应对：

• 有害内容：虽采用数据过滤机制，仍建议开发者根据产品策略部署内容安全方案
• 滥用风险：技术限制结合用户教育可降低恶意使用概率，所有用户须遵守可接受使用政策
• 隐私保护：开发者应遵循隐私法规要求

联系渠道

问题反馈请联系：

• 安全问题：safety@stability.ai
• 技术漏洞：security@stability.ai
• 隐私问题：privacy@stability.ai
• 授权咨询：https://stability.ai/license
• 企业合作：https://stability.ai/enterprise