license: openrail++ tags:

• stable-diffusion
• 文本生成图像 pinned: true

Stable Diffusion v2-1 模型卡片

本模型卡片重点介绍与Stable Diffusion v2-1模型相关的信息，代码库详见此处。

该stable-diffusion-2-1模型基于stable-diffusion-2（768-v-ema.ckpt）在相同数据集上额外训练55k步（使用punsafe=0.1），随后以punsafe=0.98继续微调155k步。

• 配合stablediffusion代码库使用：下载v2-1_768-ema-pruned.ckpt
• 通过🧨diffusers库使用

模型详情

• 开发团队: Robin Rombach, Patrick Esser

• 模型类型: 基于扩散的文本生成图像模型

• 支持语言: 英语

• 许可协议: CreativeML Open RAIL++-M许可证

• 模型描述: 该模型可通过文本提示生成和编辑图像，是基于潜在扩散模型架构，采用固定预训练文本编码器(OpenCLIP-ViT/H)。

• 更多资源: GitHub仓库

• 引用方式:

  @InProceedings{Rombach_2022_CVPR,
      author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
      title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
      booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
      month     = {June},
      year      = {2022},
      pages     = {10684-10695}
  }
  

示例

使用🤗Diffusers库高效运行Stable Diffusion 2：

pip install diffusers transformers accelerate scipy safetensors

运行管道（若不更换调度器则默认使用DDIM，本例切换为DPMSolverMultistepScheduler）：

from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler

model_id = "stabilityai/stable-diffusion-2-1"

# 此处使用DPMSolverMultistepScheduler (DPM-Solver++)  
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe = pipe.to("cuda")

prompt = "火星上宇航员骑马的照片"
image = pipe(prompt).images[0]
    
image.save("astronaut_rides_horse.png")

注意事项:

• 虽非必需依赖，但强烈建议安装xformers以实现高效注意力机制（提升性能）
• 若GPU显存有限，在转移到cuda后执行pipe.enable_attention_slicing()可降低显存占用（但会牺牲速度）

用途

直接用途

本模型仅限研究用途，适用领域包括：

• 安全部署可能生成有害内容的模型
• 探究生成模型的局限性与偏差
• 艺术创作与设计应用
• 教育或创意工具开发
• 生成模型相关研究

以下为禁止用途说明。

滥用、恶意用途及超范围使用

注：本节改编自DALLE-MINI模型卡片，原用于Stable Diffusion v1，同样适用于v2版本

禁止使用本模型故意创建或传播制造敌意环境的内容，包括：

• 生成令人不适、痛苦或冒犯性的图像
• 强化历史或现有刻板印象的内容

超范围使用

本模型未针对生成真实人物/事件进行优化，此类用途超出模型设计范围。

滥用与恶意使用

禁止生成包含以下内容的图像：

• 贬低、非人化或伤害个体/群体的内容
• 传播歧视性内容或有害刻板印象
• 未经同意的个人形象仿冒
• 非自愿性内容
• 虚假/误导性信息
• 极端暴力与血腥内容
• 违反版权协议的内容共享
• 违反许可协议的改编内容

局限性与偏差

局限性

• 无法实现完美照片级真实感
• 无法生成可读文本
• 对组合性任务（如"蓝色球体上的红色立方体"）表现欠佳
• 人脸及人物生成可能不准确
• 主要基于英文描述训练，其他语言效果较差
• 自编码部分存在信息损失
• 训练数据来自LAION-5B子集（含成人/暴力内容），已通过NSFW检测器过滤

偏差

尽管图像生成能力出色，但可能强化社会偏见：

• 主要训练数据LAION-2B(en)仅含英文描述
• 非英语社区文化内容覆盖不足，默认偏向西方白人文化
• 非英文提示生成质量显著低于英文提示
• Stable Diffusion v2偏差放大效应显著，使用时需谨慎

训练

训练数据
开发团队使用以下数据集：

• LAION-5B及其子集（经NSFW检测器过滤，p_unsafe=0.1）。详见LAION-5B的NeurIPS 2022论文。

训练流程
Stable Diffusion v2是结合自编码器的潜在扩散模型：

• 图像通过编码器转为潜在表示（下采样因子8）
• 文本提示经OpenCLIP-ViT/H编码器处理
• 文本编码输出通过交叉注意力注入UNet主干
• 损失函数为潜在空间噪声预测的重构目标，采用_v-目标_（参见论文）

现有检查点包括：

• 512-base-ema.ckpt: 256x256分辨率550k步 + 512x512分辨率850k步

• 768-v-ema.ckpt: 基于512-base继续训练150k步（v-目标）+ 768x768分辨率140k步

• 512-depth-ema.ckpt: 增加MiDaS深度预测作为条件输入

• 512-inpainting-ema.ckpt: 采用LAMA掩码策略进行修复训练

• x4-upscaling-ema.ckpt: 文本引导的潜在超分扩散模型

• 硬件: 32台8卡A100服务器

• 优化器: AdamW

• 梯度累积: 1

• 批量大小: 2048

• 学习率: 10000步预热至0.0001后保持恒定

评估结果

不同分类器自由引导尺度(1.5-8.0)和50步DDIM采样的对比评估：

基于COCO2017验证集的10000条随机提示，512x512分辨率评估（未针对FID分数优化）。

环境影响

Stable Diffusion v1 碳排放估算
根据机器学习碳排放计算器估算：

• 硬件类型: A100 PCIe 40GB
• 使用时长: 200000小时
• 云服务商: AWS
• 区域: 美东
• 碳排放量: 15000 kg CO2当量

引用

@InProceedings{Rombach_2022_CVPR,
    author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
    title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {10684-10695}
}

本模型卡片由Robin Rombach、Patrick Esser和David Ha编写，基于Stable Diffusion v1和DALL-E Mini模型卡片改编。