许可证：其他
标签：

• 稳定扩散
• 稳定扩散-扩散器
• 文本生成图像
• 核心机器学习

Stable Diffusion v1-5 模型卡

此模型由Hugging Face通过苹果的代码库生成，该代码库采用ASCL许可。

Stable Diffusion是一种基于潜在扩散模型的文本生成图像技术，能够根据任意文本输入生成逼真的图像。
如需了解Stable Diffusion的工作原理，请参阅🤗的Stable Diffusion博客。

Stable-Diffusion-v1-5检查点是在Stable-Diffusion-v1-2权重基础上初始化的，随后在"laion-aesthetics v2 5+"数据集上以512x512分辨率进行了595,000步微调，并采用10%的文本条件丢弃策略以优化无分类器引导采样。

此处提供的权重已转换为Core ML格式，适用于苹果芯片硬件。

Core ML权重包含4种变体：

coreml-stable-diffusion-v1-5  
├── original  
│   ├── compiled              # Swift推理，"original"注意力机制  
│   └── packages              # Python推理，"original"注意力机制  
└── split_einsum  
    ├── compiled              # Swift推理，"split_einsum"注意力机制  
    └── packages              # Python推理，"split_einsum"注意力机制  

详情请参考：https://huggingface.co/blog/diffusers-coreml

如需🧨 Diffusers库的权重，请访问此模型。

模型详情

• 开发团队： Robin Rombach, Patrick Esser

• 模型类型： 基于扩散的文本生成图像模型

• 支持语言： 英语

• 许可证： CreativeML OpenRAIL M许可证，该许可是基于BigScience和RAIL Initiative在负责任AI许可领域的合作成果，改编自Open RAIL M许可证。另请参阅关于BLOOM Open RAIL许可证的文章。

• 模型描述： 本模型可根据文本提示生成和修改图像，是基于潜在扩散模型构建的，采用固定预训练文本编码器(CLIP ViT-L/14)，如Imagen论文所建议。

• 更多资源： GitHub仓库, 论文。

• 引用格式：

  @InProceedings{Rombach_2022_CVPR,  
      author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},  
      title     = {High-Resolution Image Synthesis With Latent Diffusion Models},  
      booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},  
      month     = {June},  
      year      = {2022},  
      pages     = {10684-10695}  
  }  
  

用途

直接使用

本模型仅限研究用途，潜在研究方向包括：

• 安全部署可能生成有害内容的模型
• 探索和理解生成模型的局限性与偏差
• 艺术创作及设计应用
• 教育或创意工具开发
• 生成模型研究

以下为禁止用途说明。

滥用、恶意使用及超范围使用

注：本节内容引自DALLE-MINI模型卡，同样适用于Stable Diffusion

禁止使用本模型故意创建或传播制造敌意或疏离环境的图像，包括：

• 可能引发不适、痛苦或冒犯的内容
• 强化历史或现存刻板印象的内容

超范围使用

本模型未针对人物或事件的真实再现进行训练，因此生成此类内容超出模型能力范围。

滥用与恶意使用

包括但不限于：

• 生成贬低、非人化或伤害个人/群体/文化/宗教的内容
• 故意传播歧视性内容或有害刻板印象
• 未经同意的个人身份仿冒
• 非合意性内容
• 虚假与误导信息
• 极端暴力与血腥内容
• 违反版权协议的素材分享
• 违反许可条款的改编内容分享

局限性与偏差

局限性

• 无法实现完美照片级真实感
• 无法生成可读文本
• 对复杂组合任务（如"蓝色球体上的红色立方体"）表现欠佳
• 人脸及人体生成可能不准确
• 主要基于英文描述训练，其他语言效果较差
• 自编码部分存在信息损失
• 训练数据包含LAION-5B成人内容，需额外安全机制才能产品化
• 未去重的训练数据可能导致记忆效应，可通过https://rom1504.github.io/clip-retrieval/检测

偏差

图像生成模型可能强化社会偏见。Stable Diffusion v1基于LAION-2B(en)训练，该数据集以英文描述为主，导致：

• 非英语社区文化表现不足
• 西方文化被设为默认标准
• 非英语提示生成质量显著较低

安全模块

建议配合Diffusers的安全检查器使用。该模块通过比对CLIPTextModel嵌入空间中的预定义NSFW概念概率进行过滤，概念权重经过人工设计以防止逆向工程。

训练

训练数据
开发者使用以下数据集：

• LAION-2B (en) 及其子集

训练过程
Stable Diffusion v1-5是结合自编码器的潜在扩散模型：

• 图像通过下采样因子8的编码器转换为潜在表示（H x W x 3 → H/f x W/f x 4）
• 文本提示通过ViT-L/14文本编码器处理
• 文本编码器的非池化输出通过交叉注意力注入UNet主干
• 损失函数为潜在空间噪声与UNet预测的重构目标

当前提供六个检查点，训练详情如下：

• stable-diffusion-v1-1：laion2B-en上256x256分辨率237,000步 + laion-high-resolution上512x512分辨率194,000步

• stable-diffusion-v1-2：基于v1-1，在筛选后的"laion-improved-aesthetics"上515,000步

• stable-diffusion-v1-3：基于v1-2，增加195,000步并引入10%文本条件丢弃

• stable-diffusion-v1-4：基于v1-2，"laion-aesthetics v2 5+"上225,000步

• stable-diffusion-v1-5：基于v1-2，595,000步训练

• stable-diffusion-inpainting：基于v1-5，440,000步修复训练

• 硬件： 32台8xA100 GPU

• 优化器： AdamW

• 梯度累积： 2次

• 批次大小： 2048

• 学习率： 10,000步预热至0.0001后保持恒定

评估结果

使用不同无分类器引导尺度(1.5-8.0)和50步PNDM/PLMS采样的对比评估：

基于COCO2017验证集的10,000个随机提示，512x512分辨率评估（未优化FID分数）。

环境影响

Stable Diffusion v1碳排放估算
根据机器学习碳排放计算器（Lacoste等，2019）估算：

• 硬件类型： A100 PCIe 40GB
• 使用时长： 150,000小时
• 云服务商： AWS
• 计算区域： 美国东部
• 碳排放量： 11,250千克CO2当量

引用

    @InProceedings{Rombach_2022_CVPR,  
        author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},  
        title     = {High-Resolution Image Synthesis With Latent Diffusion Models},  
        booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},  
        month     = {June},  
        year      = {2022},  
        pages     = {10684-10695}  
    }  

本模型卡由Robin Rombach和Patrick Esser编写，基于DALL-E Mini模型卡模板。