license: creativeml-openrail-m tags:

• stable-diffusion

• 文生图 library_name: "stable-diffusion" extra_gated_prompt: |- 本模型采用CreativeML OpenRAIL-M许可证，面向所有人开放访问。该许可证进一步明确了使用权利与限制：

  1. 禁止使用本模型故意生成或传播非法、有害内容
  2. 模型作者对生成内容不主张权利，使用者可自由运用但须对使用行为负责，且不得违反许可证条款
  3. 允许商业用途及权重再分发，但必须包含相同的使用限制条款，并向所有用户提供CreativeML OpenRAIL-M许可证副本 完整许可证请查阅：https://huggingface.co/spaces/CompVis/stable-diffusion-license

extra_gated_heading: 请阅读许可证以访问本模型

Stable Diffusion v1 模型卡

Stable Diffusion是一种潜在扩散模型，能够根据文本输入生成逼真图像。

Stable-Diffusion-v-1-3检查点基于Stable-Diffusion-v1-2权重初始化，后在"laion-improved-aesthetics"数据集上以512x512分辨率进行195,000步微调，并采用10%的文本条件丢弃以优化无分类器引导采样。

更多信息请参阅训练章节。

权重下载

• sd-v1-3.ckpt
• sd-v1-3-full-ema.ckpt

这些权重需配合原始CompVis Stable Diffusion代码库使用。如需D🧨iffusers库版本，请访问此处。

模型详情

• 开发者: Robin Rombach, Patrick Esser

• 模型类型: 基于扩散的文本生成图像模型

• 支持语言: 英语

• 许可证: CreativeML OpenRAIL M许可证，改编自BigScience与RAIL Initiative在负责任AI许可领域的合作成果。详见基于BLOOM Open RAIL许可证的条款。

• 模型描述: 本模型可根据文本提示生成和修改图像，是采用固定预训练文本编码器(CLIP ViT-L/14)的潜在扩散模型，其设计参考Imagen论文建议。

• 更多资源: GitHub仓库, 论文。

• 引用格式:

  @InProceedings{Rombach_2022_CVPR,
      author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
      title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
      booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
      month     = {June},
      year      = {2022},
      pages     = {10684-10695}
  }
  

用途

直接用途

本模型仅限研究用途，适用领域包括：

• 具有潜在危害内容生成模型的安全部署
• 探究生成模型的局限性与偏见
• 艺术创作与设计应用
• 教育或创意工具开发
• 生成模型研究

以下为禁止用途说明。

滥用、恶意使用及超范围使用

注：本节改编自DALLE-MINI模型卡，其条款同样适用于Stable Diffusion v1

禁止使用本模型故意创建或传播令人不适的内容，包括：

• 生成令人不安、痛苦或冒犯性的图像
• 强化历史或现存社会偏见

超范围使用

本模型未经训练以生成真实人物/事件表征，此类用途超出模型能力范围。

滥用与恶意使用

包括但不限于：

• 生成贬低、非人化内容
• 传播歧视性内容或有害刻板印象
• 未经同意的身份仿冒
• 非合意色情内容
• 虚假/错误信息
• 极端暴力内容
• 违反版权协议的素材分享

局限性与偏见

局限性

• 无法实现完美照片级真实感
• 无法生成可识别文字
• 复杂组合任务（如"蓝色球体上的红色立方体"）表现欠佳
• 人物面部生成可能失真
• 主要基于英语训练，其他语言效果较差
• 自编码部分存在信息损耗
• 训练数据含成人内容，需额外安全机制
• 存在训练数据记忆现象（可通过CLIP检索工具检测）

偏见

模型可能强化社会偏见：

• 主要训练数据LAION-2B(en)以英语描述为主
• 非英语文化内容表征不足
• 默认输出倾向西方白人文化
• 非英语提示词生成质量显著较低

训练

训练数据 开发者使用以下数据集：

• LAION-2B (en)及其子集

训练流程 Stable Diffusion v1是结合自编码器的潜在扩散模型：

1. 图像通过编码器转换为潜在表征（下采样因子8）
2. 文本提示通过ViT-L/14文本编码器处理
3. 文本编码器输出通过交叉注意力注入UNet主干
4. 损失函数为潜在空间噪声与UNet预测的重构目标

三个检查点训练详情：

• sd-v1-1.ckpt：laion2B-en上237k步(256x256) + laion-high-resolution上194k步(512x512)
• sd-v1-2.ckpt：基于v1-1，"laion-improved-aesthetics"上515k步(512x512)
• sd-v1-3.ckpt：基于v1-2，"laion-improved-aesthetics"上195k步(512x512) + 10%文本条件丢弃

硬件配置

• 硬件：32 x 8 x A100 GPUs
• 优化器：AdamW
• 梯度累积：2
• 批量大小：2048
• 学习率：10,000步预热至0.0001后恒定

评估结果

不同无分类器引导尺度(1.5-8.0)下50步PLMS采样的性能比较：

基于COCO2017验证集的10,000个随机提示，512x512分辨率评估（未针对FID分数优化）。

环境影响

碳排放估算 使用机器学习碳影响计算器估算：

• 硬件类型：A100 PCIe 40GB
• 使用时长：150,000小时
• 云服务商：AWS
• 计算区域：美国东部
• 碳排放量：11,250 kg CO2当量

引用

    @InProceedings{Rombach_2022_CVPR,
        author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
        title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
        booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
        month     = {June},
        year      = {2022},
        pages     = {10684-10695}
    }

本模型卡由Robin Rombach和Patrick Esser编写，基于DALL-E Mini模型卡模板。