许可证：其他 许可证名称：stabilityai-ai-community 许可证链接：LICENSE.md 标签：

• 文本到图像
• 稳定扩散
• 扩散器 推理：true 额外授权提示：>- 点击“同意”即表示您同意许可协议并确认Stability AI的隐私政策。 额外授权字段： 姓名：文本 电子邮件：文本 国家：国家 组织或所属机构：文本 是否接收Stability AI产品、服务和研究的电子邮件更新及促销？： 类型：选择 选项：
  • '是'
  • '否' 您打算如何使用该模型？： 类型：选择 选项：
  • 研究
  • 个人使用
  • 创意专业人士
  • 初创企业
  • 企业 我同意许可协议并确认Stability AI的隐私政策：复选框

语言：

• 英语 管道标签：文本到图像

stable-diffusion-v3-5-large-GGUF

!!! 实验性支持，仅限gpustack/llama-box v0.0.75+ !!!

模型创建者: Stability AI
原始模型: stable-diffusion-3.5-large
GGUF量化: 基于stable-diffusion.cpp ac54e，由llama-box补丁。

Stable Diffusion 3.5 Large

模型

Stable Diffusion 3.5 Large是一个多模态扩散变换器（MMDiT）文本到图像模型，在图像质量、排版、复杂提示理解和资源效率方面具有改进的性能。

请注意：此模型根据Stability社区许可证发布。访问Stability AI了解更多或联系我们获取商业许可详情。

模型描述

• 开发者: Stability AI
• 模型类型: MMDiT文本到图像生成模型
• 模型描述: 此模型根据文本提示生成图像。它是一个多模态扩散变换器，使用三个固定的预训练文本编码器，并通过QK归一化提高训练稳定性。

许可证

• 社区许可证: 免费用于研究、非商业和商业用途，适用于年总收入低于100万美元的组织或个人。更多详情请参阅社区许可协议。更多信息请访问https://stability.ai/license。
• 年收入超过100万美元的个人和组织: 请联系我们获取企业许可证。

模型来源

对于本地或自托管使用，我们推荐ComfyUI用于基于节点的UI推理，或diffusers或GitHub用于编程使用。

• ComfyUI: Github, 示例工作流

• Huggingface Space: Space

• Diffusers: 见下文。

• GitHub: GitHub。

• API端点:

  • Stability AI API
  • Replicate
  • Deepinfra

实现细节

• QK归一化: 实施QK归一化技术以提高训练稳定性。

• 文本编码器：

  • CLIPs: OpenCLIP-ViT/G, CLIP-ViT/L, 上下文长度77个标记
  • T5: T5-xxl, 上下文长度77/256个标记，在训练的不同阶段

• 训练数据和策略:

  此模型在多种数据上进行训练，包括合成数据和过滤后的公开可用数据。

有关原始MMDiT架构的更多技术细节，请参阅研究论文。

模型性能

参见博客了解我们在提示遵循和美学质量方面的比较性能研究。

文件结构

点击此处访问文件和版本标签

├── text_encoders/  
│   ├── README.md
│   ├── clip_g.safetensors
│   ├── clip_l.safetensors
│   ├── t5xxl_fp16.safetensors
│   └── t5xxl_fp8_e4m3fn.safetensors
│
├── README.md
├── LICENSE
├── sd3_large.safetensors
├── SD3.5L_example_workflow.json
└── sd3_large_demo.png

** 以下文件结构用于diffusers集成**
├── scheduler/
├── text_encoder/
├── text_encoder_2/
├── text_encoder_3/
├── tokenizer/
├── tokenizer_2/
├── tokenizer_3/
├── transformer/
├── vae/
└── model_index.json

使用Diffusers

升级至最新版本的🧨 diffusers库

pip install -U diffusers

然后您可以运行

import torch
from diffusers import StableDiffusion3Pipeline

pipe = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3.5-large", torch_dtype=torch.bfloat16)
pipe = pipe.to("cuda")

image = pipe(
    "一只水豚举着写有Hello World的牌子",
    num_inference_steps=28,
    guidance_scale=3.5,
).images[0]
image.save("capybara.png")

使用diffusers量化模型

减少VRAM使用，使模型适应🤏 VRAM GPU

pip install bitsandbytes

from diffusers import BitsAndBytesConfig, SD3Transformer2DModel
from diffusers import StableDiffusion3Pipeline
import torch

model_id = "stabilityai/stable-diffusion-3.5-large"

nf4_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)
model_nf4 = SD3Transformer2DModel.from_pretrained(
    model_id,
    subfolder="transformer",
    quantization_config=nf4_config,
    torch_dtype=torch.bfloat16
)

pipeline = StableDiffusion3Pipeline.from_pretrained(
    model_id, 
    transformer=model_nf4,
    torch_dtype=torch.bfloat16
)
pipeline.enable_model_cpu_offload()

prompt = "一幅异想天开且富有创意的图像，描绘了一种混合生物，它是华夫饼和河马的结合体，沐浴在一片黄油河流中，背景是早餐主题的风景。它具有河马特有的笨重体型。然而，与通常的灰色皮肤不同，这只生物的身体看起来像刚从烤盘上取出的金棕色、酥脆的华夫饼。皮肤上有华夫饼熟悉的网格图案，每个方格上都闪烁着糖浆的光泽。环境将河马的自然栖息地与早餐桌的元素结合在一起，一条温暖的融化黄油河流，背景中郁郁葱葱的煎饼状植被中隐约可见巨大的餐具或盘子，一座胡椒磨坊像树一样矗立。在这个奇幻世界中，太阳升起，投射出温暖、黄油般的光芒。这只生物满足地躺在黄油河流中，打了个哈欠。附近，一群鸟儿飞起"

image = pipeline(
    prompt=prompt,
    num_inference_steps=28,
    guidance_scale=4.5,
    max_sequence_length=512,
).images[0]
image.save("whimsical.png")

微调

请参阅微调指南此处。

用途

预期用途

预期用途包括以下内容：

• 艺术作品的生成以及设计和其它艺术过程中的使用。
• 教育或创意工具中的应用。
• 生成模型的研究，包括理解生成模型的局限性。

所有模型的使用必须符合我们的可接受使用政策。

超出范围的用途

该模型未经过训练以生成事实或真实的人物或事件表示。因此，使用该模型生成此类内容超出了该模型的能力范围。

安全性

作为我们安全设计和负责任AI部署方法的一部分，我们采取深思熟虑的措施确保完整性从开发的早期阶段开始。我们在模型开发的整个过程中实施安全措施。我们已经实施了旨在减少某些危害风险的安全缓解措施，但我们建议开发人员根据其具体用例进行自己的测试并应用额外的缓解措施。
有关我们安全方法的更多信息，请访问我们的安全页面。

完整性评估

我们的完整性评估方法包括结构化评估和针对某些危害的红队测试。测试主要在英语中进行，可能无法涵盖所有可能的危害。

已识别的风险和缓解措施：

• 有害内容：我们在训练模型时使用了过滤后的数据集，并实施了旨在在有用性和防止危害之间取得平衡的保障措施。然而，这并不能保证所有可能的有害内容已被移除。所有开发人员和部署人员应谨慎行事，并根据其特定产品政策和应用用例实施内容安全护栏。
• 滥用：技术限制以及开发人员和最终用户教育可以帮助减轻模型的恶意应用。所有用户必须遵守我们的可接受使用政策，包括在应用微调和提示工程机制时。请参考Stability AI可接受使用政策以了解我们产品的违规使用信息。
• 隐私侵犯：鼓励开发人员和部署人员遵守隐私法规，采用尊重数据隐私的技术。

联系方式

请报告模型的任何问题或联系我们：

• 安全问题：safety@stability.ai
• 安全问题：security@stability.ai
• 隐私问题：privacy@stability.ai
• 许可证和一般问题：https://stability.ai/license
• 企业许可证：https://stability.ai/enterprise