许可证：其他
标签：

• 稳定扩散
• 稳定扩散扩散器
• 文本生成图像
• 核心机器学习

Stable Diffusion v1-4 模型卡（调色板化 Core ML 权重）

此模型由 Hugging Face 使用 Apple 的代码库 生成，该代码库遵循 ASCL 许可证。此版本包含适用于 iOS 17 或 macOS 14 的 6 位调色板化 Core ML 权重。如需使用未量化的权重，请访问 此模型。

模型描述

Stable Diffusion 是一种基于潜在扩散的文本生成图像模型，能够根据任意文本输入生成逼真的图像。
关于 Stable Diffusion 的工作原理，请参阅 🤗 的 Stable Diffusion 与 🧨Diffusers 博客。

Stable-Diffusion-v1-4 检查点基于 Stable-Diffusion-v1-2 的权重初始化，随后在 512x512 分辨率下对 "laion-aesthetics v2 5+" 数据集进行了 225,000 步微调，并采用 10% 的文本条件丢弃策略以优化 无分类器引导采样。

这些权重已转换为 Core ML 格式，适用于 Apple Silicon 硬件。

Core ML 权重包含 4 种变体：

coreml-stable-diffusion-v1-4  
├── original  
│   ├── compiled              # Swift 推理，"original" 注意力机制  
│   └── packages              # Python 推理，"original" 注意力机制  
└── split_einsum  
    ├── compiled              # Swift 推理，"split_einsum" 注意力机制  
    └── packages              # Python 推理，"split_einsum" 注意力机制  

还提供两个适用于 Hugging Face 演示应用 和其他第三方工具的压缩包：

• coreml-stable-diffusion-1-4-palettized_original_compiled.zip 包含采用 ORIGINAL 注意力机制的 6 位量化编译模型。
• coreml-stable-diffusion-1-4-palettized_split_einsum_v2_compiled.zip 包含采用 SPLIT_EINSUM_V2 注意力机制的 6 位量化编译模型。

详情请参阅 https://huggingface.co/blog/diffusers-coreml。

如需 🧨 Diffusers 库的权重，请 访问此模型。

模型详情

• 开发者: Robin Rombach, Patrick Esser

• 模型类型: 基于扩散的文本生成图像模型

• 语言: 英语

• 许可证: CreativeML OpenRAIL M 许可证，改编自 BigScience 和 RAIL Initiative 在负责任 AI 许可领域的联合工作。另请参阅 关于 BLOOM Open RAIL 许可证的文章，我们的许可证基于此。

• 模型描述: 该模型可用于根据文本提示生成和修改图像。它是一个 潜在扩散模型，使用固定的预训练文本编码器（CLIP ViT-L/14），如 Imagen 论文 所建议。

• 更多信息: GitHub 代码库, 论文。

• 引用方式:

  @InProceedings{Rombach_2022_CVPR,  
      author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},  
      title     = {High-Resolution Image Synthesis With Latent Diffusion Models},  
      booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},  
      month     = {June},  
      year      = {2022},  
      pages     = {10684-10695}  
  }  
  

用途

直接使用

该模型仅用于研究目的。可能的研究领域和任务包括：

• 安全部署可能生成有害内容的模型。
• 探索和理解生成模型的局限性和偏见。
• 艺术品生成及在设计和其他艺术过程中的应用。
• 教育或创意工具中的应用。
• 生成模型的研究。

以下用途被排除在外。

滥用、恶意使用和超范围使用

注：本节摘自 DALLE-MINI 模型卡，但同样适用于 Stable Diffusion。

该模型不应被用于故意创建或传播制造敌对或疏远环境的图像。包括生成人们可预见的令人不安、痛苦或冒犯的内容；或传播历史或当前刻板印象的内容。

超范围使用

该模型未经过训练以生成关于人物或事件的真实表述，因此用模型生成此类内容超出了其能力范围。

滥用和恶意使用

使用模型生成对个体残忍的内容是对该模型的滥用。包括但不限于：

• 生成贬低、非人化或以其他方式伤害个人或其环境、文化、宗教等的内容。
• 故意推广或传播歧视性内容或有害刻板印象。
• 未经同意冒充他人。
• 未经可能看到的人同意生成性内容。
• 虚假和误导信息
• 极端暴力和血腥内容
• 违反使用条款分享受版权或许可保护的内容。
• 违反使用条款分享受版权或许可保护内容的改编版本。

局限性与偏见

局限性

• 模型无法实现完美的照片级真实感
• 模型无法生成清晰可读的文本
• 模型在涉及组合性的复杂任务上表现不佳，例如渲染“蓝色球体上的红色立方体”
• 面部和人物可能无法正确生成
• 模型主要使用英文标题训练，在其他语言中表现不佳
• 模型的自动编码部分是有损的
• 模型在包含成人内容的大规模数据集 LAION-5B 上训练，未经额外安全机制和考虑不适合产品使用
• 未采用去重措施，因此会观察到训练数据中重复图像的某种程度记忆。可通过 https://rom1504.github.io/clip-retrieval/ 搜索训练数据以检测记忆图像

偏见

尽管图像生成模型的能力令人印象深刻，但它们也可能强化或加剧社会偏见。
Stable Diffusion v1 在 LAION-2B(en) 的子集上训练，这些图像主要限于英文描述。
使用其他语言的社区和文化的文本和图像可能未被充分代表。
这影响了模型的整体输出，因为白人和西方文化通常被设为默认。此外，模型生成非英语提示内容的能力明显逊于英语提示。

安全模块

该模型的预期用途是与 Diffusers 中的 安全检查器 配合使用。
该检查器通过将模型输出与已知硬编码的 NSFW 概念进行比较来工作。
这些概念被故意隐藏以减少逆向工程此过滤器的可能性。
具体而言，检查器在图像生成后比较 CLIPTextModel 嵌入空间中有害概念的类别概率。
这些概念与生成的图像一起传入模型，并与每个 NSFW 概念的手工权重进行比较。

训练

训练数据
模型开发者使用以下数据集训练模型：

• LAION-2B (en) 及其子集（见下一节）

训练过程
Stable Diffusion v1-4 是一个潜在扩散模型，将自动编码器与在自动编码器潜在空间中训练的扩散模型相结合。训练期间：

• 图像通过编码器转换为潜在表示。自动编码器使用 8 倍的相对下采样因子，将 H x W x 3 的图像映射为 H/f x W/f x 4 的潜在表示
• 文本提示通过 ViT-L/14 文本编码器编码
• 文本编码器的非池化输出通过交叉注意力传入潜在扩散模型的 UNet 主干
• 损失函数是潜在空间中添加的噪声与 UNet 预测之间的重建目标

当前提供四个检查点，训练方式如下：

• stable-diffusion-v1-1: 在 laion2B-en 上以 256x256 分辨率训练 237,000 步，在 laion-high-resolution（来自 LAION-5B 的 1.7 亿分辨率 ≥1024x1024 的样本）上以 512x512 分辨率训练 194,000 步。

• stable-diffusion-v1-2: 从 stable-diffusion-v1-1 继续训练。在 "laion-improved-aesthetics"（laion2B-en 的子集，过滤原始尺寸 ≥512x512、美学评分 >5.0 和水印概率 <0.5 的图像）上以 512x512 分辨率训练 515,000 步。

• stable-diffusion-v1-3: 从 stable-diffusion-v1-2 继续训练。在 "laion-improved-aesthetics" 上以 512x512 分辨率训练 195,000 步，并采用 10% 文本条件丢弃以优化 无分类器引导采样。

• stable-diffusion-v1-4: 从 stable-diffusion-v1-2 继续训练。在 "laion-aesthetics v2 5+" 上以 512x512 分辨率训练 225,000 步，并采用 10% 文本条件丢弃以优化 无分类器引导采样。

• 硬件: 32 x 8 x A100 GPU

• 优化器: AdamW

• 梯度累积: 2

• 批量大小: 32 x 8 x 2 x 4 = 2048

• 学习率: 前 10,000 步预热至 0.0001，随后保持恒定

评估结果

使用不同无分类器引导尺度（1.5、2.0、3.0、4.0、5.0、6.0、7.0、8.0）和 50 步 PLMS 采样的评估显示了各检查点的相对改进：

使用 50 步 PLMS 和 COCO2017 验证集中的 10,000 个随机提示进行评估，分辨率为 512x512。未针对 FID 分数优化。

环境影响

Stable Diffusion v1 预估排放量
根据 机器学习影响计算器（参见 Lacoste 等人 (2019)），结合硬件、运行时间、云服务提供商和计算区域估算碳排放。

• 硬件类型: A100 PCIe 40GB
• 使用时长: 150,000 小时
• 云服务提供商: AWS
• 计算区域: 美国东部
• 碳排放量（功耗 × 时间 × 电网碳强度）: 11,250 千克 CO2 当量

引用

    @InProceedings{Rombach_2022_CVPR,  
        author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},  
        title     = {High-Resolution Image Synthesis With Latent Diffusion Models},  
        booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},  
        month     = {June},  
        year      = {