许可证：openrail++ 标签：

• 稳定扩散
• 稳定扩散-扩散器
• 图像到图像 推理：true

稳定扩散v2-1模型卡

本模型卡重点介绍与稳定扩散v2-1模型相关的模型，代码库可在此处获取。

此stable-diffusion-2-1模型是在stable-diffusion-2（768-v-ema.ckpt）基础上，使用相同数据集（punsafe=0.1）额外微调55k步，随后以punsafe=0.98再微调155k步得到的。

• 配合stablediffusion仓库使用：在此处下载v2-1_768-ema-pruned.ckpt。
• 配合🧨diffusers使用

模型详情

• 开发者： Robin Rombach, Patrick Esser

• 模型类型： 基于扩散的文本到图像生成模型

• 语言： 英语

• 许可证： CreativeML Open RAIL++-M许可证

• 模型描述： 该模型可根据文本提示生成和修改图像，是基于固定预训练文本编码器(OpenCLIP-ViT/H)的潜在扩散模型。

• 更多信息： GitHub仓库。

• 引用方式：

  @InProceedings{Rombach_2022_CVPR,
      author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
      title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
      booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
      month     = {June},
      year      = {2022},
      pages     = {10684-10695}
  }
  

示例

使用🤗的Diffusers库以简单高效的方式运行Stable Diffusion 2。

pip install diffusers transformers accelerate scipy safetensors

运行管道（若不更换调度器则默认使用DDIM，本例中我们将其替换为DPMSolverMultistepScheduler）：

import torch
from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler

model_id = "stabilityai/stable-diffusion-2-1"

# 此处使用DPMSolverMultistepScheduler (DPM-Solver++)调度器
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe = pipe.to("cuda")

prompt = "火星上宇航员骑马的照片"
image = pipe(prompt).images[0]
    
image.save("astronaut_rides_horse.png")

注意：

• 虽非必需依赖，但强烈建议安装xformers以实现内存高效注意力机制（性能更佳）
• 若GPU内存有限，在传输至cuda后务必添加pipe.enable_attention_slicing()以减少显存占用（会降低速度）

用途

直接使用

本模型仅限研究用途，可能的研究方向包括：

• 安全部署可能生成有害内容的模型
• 探究生成模型的局限性与偏见
• 艺术创作及设计等艺术流程中的应用
• 教育或创意工具开发
• 生成模型研究

以下为禁止用途说明。

滥用、恶意使用及超范围使用

注：本节内容源自DALLE-MINI模型卡，原用于Stable Diffusion v1，同样适用于Stable Diffusion v2。

禁止使用本模型故意制造或传播制造敌意或疏离环境的图像，包括但不限于：

• 生成令人不安、痛苦或冒犯的内容
• 传播历史或现存刻板印象
• 未经同意的个人模仿
• 非自愿性内容
• 虚假与误导信息
• 极端暴力与血腥内容
• 违反版权协议的素材分享
• 违反许可协议的改编内容分享

局限性与偏见

局限性

• 无法实现完美照片级真实感
• 无法生成清晰文本
• 对复合型任务（如"蓝色球体上的红色立方体"）表现欠佳
• 人脸及人物生成可能不准确
• 主要基于英语描述训练，其他语言效果较差
• 自编码部分存在信息损失
• 训练数据来自LAION-5B子集（含成人/暴力内容），已通过NSFW检测器过滤

偏见

虽然图像生成能力令人印象深刻，但可能强化社会偏见。模型主要基于LAION-2B(en)训练，该数据集局限于英语描述，导致其他语言文化的表现不足。白人及西方文化常被设为默认值，非英语提示的生成质量显著低于英语提示。Stable Diffusion v2放大偏见程度，无论输入内容为何都需谨慎对待。

训练

训练数据 开发者使用以下数据集：

• LAION-5B及其子集（经NSFW检测器过滤，p_unsafe=0.1）。详见LAION-5B的NeurIPS 2022论文。

训练流程 Stable Diffusion v2是结合自编码器的潜在扩散模型：

• 图像通过编码器转为潜在表示（下采样因子8）
• 文本提示通过OpenCLIP-ViT/H编码器处理
• 文本编码输出通过交叉注意力注入UNet主干
• 损失函数为潜在空间噪声与UNet预测的重构目标，采用_v-目标_（参见https://arxiv.org/abs/2202.00512）

当前提供的检查点：

• 512-base-ema.ckpt：256x256分辨率550k步 + 512x512分辨率850k步（LAION子集，punsafe=0.1，美学评分≥4.5）

• 768-v-ema.ckpt：基于512-base-ema继续训练150k步（v-目标） + 768x768分辨率140k步

• 512-depth-ema.ckpt：基于512-base-ema微调200k步，增加MiDaS深度预测作为条件

• 512-inpainting-ema.ckpt：基于512-base-ema训练200k步，采用LAMA掩码策略

• x4-upscaling-ema.ckpt：125万步训练>2048x2048图像子集，支持文本引导潜在超分

• 硬件： 32x8 A100 GPU

• 优化器： AdamW

• 梯度累积： 1

• 批次： 2048

• 学习率： 10000步预热至0.0001后保持恒定

评估结果

不同分类器自由引导尺度(1.5-8.0)与50步DDIM采样的对比评估显示各检查点的相对改进：

基于COCO2017验证集的10000个随机提示，512x512分辨率下评估（未针对FID分数优化）。

环境影响

Stable Diffusion v1排放估算 使用机器学习影响计算器估算：

• 硬件类型： A100 PCIe 40GB
• 使用时长： 200000小时
• 云服务商： AWS
• 计算区域： 美国东部
• 碳排放量： 15000 kg CO2当量

引用

@InProceedings{Rombach_2022_CVPR,
    author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
    title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {10684-10695}
}

本模型卡由Robin Rombach、Patrick Esser和David Ha编写，基于Stable Diffusion v1和DALL-E Mini模型卡。