许可证：creativeml-openrail-m
标签：

• stable-diffusion

• stable-diffusion-diffusers

• text-to-image
  推理：true
  额外授权提示：|-
  本模型采用CreativeML OpenRAIL-M许可证开放访问，所有用户均可使用，该许可证进一步规定了权利和使用条款。
  CreativeML OpenRAIL许可证明确规定：

  1. 禁止使用本模型故意生成或传播非法或有害内容
  2. CompVis对用户生成的内容不主张任何权利，用户可自由使用但须对使用行为负责，且不得违反许可证规定
  3. 允许商用或作为服务重新分发模型权重。若如此做，必须包含与许可证相同的使用限制条款，并向所有用户提供CreativeML OpenRAIL-M副本（请完整仔细阅读许可证）
     完整许可证详见：https://huggingface.co/spaces/CompVis/stable-diffusion-license

额外授权标题：请阅读许可证以访问本模型

Stable Diffusion v1-5 模型卡

Stable Diffusion是一种潜在文本到图像扩散模型，能够根据任意文本输入生成逼真图像。
如需了解Stable Diffusion工作原理，请参阅🤗的Stable Diffusion博客。

Stable-Diffusion-v1-5检查点基于Stable-Diffusion-v1-2权重初始化，随后在"laion-aesthetics v2 5+"数据集上以512x512分辨率进行595k步微调，并采用10%文本条件丢弃以改进无分类器引导采样。

您可通过🧨Diffusers库或RunwayML GitHub仓库使用本模型。

Diffusers使用示例

from diffusers import StableDiffusionPipeline
import torch

model_id = "runwayml/stable-diffusion-v1-5"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "宇航员在火星上骑马的照片"
image = pipe(prompt).images[0]  
    
image.save("astronaut_rides_horse.png")

更多JAX环境下的详细指令、用例和示例，请参阅此处说明

原始GitHub仓库

1. 下载权重文件

   • v1-5-pruned-emaonly.ckpt - 4.27GB，仅含EMA权重，显存占用低，适合推理
   • v1-5-pruned.ckpt - 7.7GB，包含EMA和非EMA权重，显存占用高，适合微调

2. 按照此处说明操作

模型详情

• 开发团队: Robin Rombach, Patrick Esser

• 模型类型: 基于扩散的文本到图像生成模型

• 支持语言: 英语

• 许可证: CreativeML OpenRAIL M许可证，改编自BigScience与RAIL Initiative在负责任AI许可领域的联合成果。详见基于BLOOM Open RAIL许可证的条款。

• 模型描述: 本模型可根据文本提示生成和修改图像，是基于潜在扩散模型架构，采用Imagen论文建议的固定预训练文本编码器(CLIP ViT-L/14)。

• 更多资源: GitHub仓库, 论文。

• 引用格式:

  @InProceedings{Rombach_2022_CVPR,
      author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
      title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
      booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
      month     = {June},
      year      = {2022},
      pages     = {10684-10695}
  }
  

用途

直接用途

本模型仅限研究用途，潜在研究方向包括：

• 安全部署可能生成有害内容的模型
• 探索生成模型的局限性和偏差
• 艺术创作及设计应用
• 教育或创意工具开发
• 生成模型研究

以下为禁止用途说明。

滥用、恶意使用及超范围使用

注：本节改编自DALLE-MINI模型卡，同样适用于Stable Diffusion v1

禁止使用本模型故意创建或传播以下内容：

• 令人不适、痛苦或冒犯性的图像
• 强化历史或现有刻板印象的内容
• 未经同意的个人形象仿冒
• 非自愿性色情内容
• 虚假和误导信息
• 极端暴力与血腥内容
• 违反版权许可的素材
• 违反条款的改编版权素材

局限性与偏差

局限性

• 无法实现完美照片级真实感
• 无法生成可识别文字
• 对组合性任务（如"蓝色球体上的红色立方体"）表现欠佳
• 人脸和人体生成可能不准确
• 主要基于英语描述训练，其他语言效果较差
• 自编码部分存在信息损失
• 训练数据集LAION-5B包含成人内容，需额外安全机制才能产品化
• 未进行数据去重处理，可能出现训练数据记忆现象（可通过CLIP检索工具检测）

偏差

图像生成模型可能强化社会偏见。Stable Diffusion v1基于LAION-2B(en)子集训练，该数据集以英语描述为主，其他语言社区和文化内容代表性不足，导致生成结果存在西方文化默认倾向，非英语提示的生成质量显著低于英语提示。

安全模块

建议配合Diffusers的安全检查器使用。该模块通过比对CLIPTextModel嵌入空间中的预定义NSFW概念概率进行过滤，相关概念权重经过人工设计并加密处理。

训练

训练数据
开发者使用以下数据集：

• LAION-2B (en) 及其子集

训练流程
Stable Diffusion v1-5是结合自编码器的潜在扩散模型：

• 图像通过下采样因子8的编码器转为潜在表示（H x W x 3 → H/f x W/f x 4）
• 文本提示经ViT-L/14文本编码器处理
• 文本编码器的非池化输出通过交叉注意力注入UNet主干
• 损失函数计算潜在空间噪声与UNet预测的重构误差

现有六个检查点的训练方式：

• v1-1：先在256x256分辨率训练237k步（laion2B-en），再在512x512训练194k步（laion-high-resolution）

• v1-2：基于v1-1，在512x512训练515k步（laion-improved-aesthetics子集）

• v1-3：基于v1-2，增加195k步训练并采用10%文本条件丢弃

• v1-4：基于v1-2，增加225k步训练（laion-aesthetics v2 5+）并采用10%文本条件丢弃

• v1-5：基于v1-2，增加595k步训练（laion-aesthetics v2 5+）并采用10%文本条件丢弃

• inpainting版本：基于v1-5，增加440k步修复训练

• 硬件: 32台8卡A100集群

• 优化器: AdamW

• 梯度累积: 2次

• 批量大小: 2048

• 学习率: 10,000步热身至0.0001后保持恒定

评估结果

不同无分类器引导尺度(1.5-8.0)和50步PNDM/PLMS采样的对比显示各检查点的相对改进：

基于COCO2017验证集的10,000个随机提示评估，分辨率512x512，50步PLMS采样。未针对FID分数优化。

环境影响

Stable Diffusion v1碳排放估算
根据机器学习碳排放计算器和Lacoste等(2019)方法估算：

• 硬件类型: A100 PCIe 40GB
• 使用时长: 150,000小时
• 云服务商: AWS
• 计算区域: 美国东部
• 碳排放量: 11,250千克CO2当量

引用

    @InProceedings{Rombach_2022_CVPR,
        author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
        title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
        booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
        month     = {June},
        year      = {2022},
        pages     = {10684-10695}
    }

本模型卡由Robin Rombach和Patrick Esser编写，并参考DALL-E Mini模型卡格式。