许可协议：其他
标签：

• 稳定扩散
• 稳定扩散-扩散器
• 文本生成图像
• 核心机器学习

Stable Diffusion v1-5 模型卡

此模型由Hugging Face利用苹果的代码库生成，该代码库遵循ASCL许可。此版本包含适用于iOS 17或macOS 14的6位调色板化Core ML权重。如需非量化权重，请访问此模型。

Stable Diffusion是一种基于潜在扩散的文本生成图像模型，能够根据任意文本输入生成逼真图像。
关于Stable Diffusion的工作原理，请参阅🤗的Stable Diffusion博客。

Stable-Diffusion-v1-5检查点基于Stable-Diffusion-v1-2权重初始化，随后在"laion-aesthetics v2 5+"数据集上以512x512分辨率进行了595,000步微调，并采用10%的文本条件丢弃以改进无分类器引导采样。

当前权重已转换为Core ML格式，适用于苹果芯片硬件。

Core ML权重包含4种变体：

coreml-stable-diffusion-v1-5  
├── original  
│   ├── compiled              # Swift推理，"original"注意力机制  
│   └── packages              # Python推理，"original"注意力机制  
└── split_einsum  
    ├── compiled              # Swift推理，"split_einsum"注意力机制  
    └── packages              # Python推理，"split_einsum"注意力机制  

另提供两个适用于Hugging Face演示应用及其他第三方工具的压缩包：

• coreml-stable-diffusion-v1-5-palettized_original_compiled.zip：包含采用ORIGINAL注意力机制的6位编译模型
• coreml-stable-diffusion-v1-5-base-palettized_split_einsum_v2_compiled.zip：包含采用SPLIT_EINSUM_V2注意力机制的6位编译模型

详情请参阅https://huggingface.co/blog/diffusers-coreml。
如需🧨 Diffusers库的权重，请访问此模型。

模型详情

• 开发者： Robin Rombach, Patrick Esser
• 模型类型： 基于扩散的文本生成图像模型
• 语言： 英语
• 许可协议： CreativeML OpenRAIL M许可证，改编自BigScience与RAIL倡议在负责任AI许可领域的合作成果。参见基于我们许可证的BLOOM Open RAIL许可证文章。
• 模型描述： 本模型可根据文本提示生成和修改图像，是基于潜在扩散模型构建的，采用Imagen论文建议的固定预训练文本编码器(CLIP ViT-L/14)。
• 更多资源： GitHub仓库, 论文。
• 引用格式：
  @InProceedings{Rombach_2022_CVPR,
  author = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj"orn},
  title = {High-Resolution Image Synthesis With Latent Diffusion Models},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2022},
  pages = {10684-10695}
  }

用途

直接使用

本模型仅限研究用途，潜在研究方向包括：

• 安全部署可能生成有害内容的模型
• 探究生成模型的局限性与偏差
• 艺术创作及设计应用
• 教育或创意工具开发
• 生成模型研究

以下为禁止用途说明。

滥用、恶意使用及超范围使用

注：本节改编自DALLE-MINI模型卡，同样适用于Stable Diffusion

禁止使用本模型故意创建或传播制造敌对环境的图像。包括但不限于：

• 生成令人不安、痛苦或冒犯性内容
• 强化历史或现有刻板印象
• 未经许可模仿特定个体
• 非自愿的色情内容
• 虚假与误导信息
• 极端暴力与血腥内容
• 违反版权协议的素材传播

局限性与偏差

局限性

• 无法实现完美逼真度
• 无法生成清晰文本
• 复杂组合任务（如"蓝色球体上的红色立方体"）表现欠佳
• 人物面部生成可能失真
• 主要基于英语训练，其他语言效果较差
• 自编码部分存在信息损耗
• 训练数据含成人内容，需额外安全措施
• 存在训练数据记忆现象（可通过CLIP检索工具检测）

偏差

模型可能强化社会偏见：

• 训练数据LAION-2B(en)以英语描述为主
• 非英语社区文化代表性不足
• 西方文化被默认为标准范式

安全模块

建议配合Diffusers的安全检查器使用，该模块通过CLIP文本模型嵌入空间比对预定义的NSFW概念权重进行内容过滤。

训练

训练数据
开发者使用以下数据集：

• LAION-2B (en)及其子集

训练流程
Stable Diffusion v1-5是结合自编码器的潜在扩散模型：

1. 图像通过编码器转为潜在表示（下采样因子8）
2. 文本提示经ViT-L/14编码器处理
3. 文本编码器的非池化输出通过交叉注意力注入UNet主干
4. 损失函数为潜在空间噪声与UNet预测的重构目标

当前提供六个检查点，训练详情如下：

• v1-1：256x256分辨率训练237,000步（laion2B-en），512x512分辨率194,000步（laion-high-resolution）
• v1-2：基于v1-1，在"laion-improved-aesthetics"训练515,000步（筛选尺寸≥512x512、美学评分>5.0、水印概率<0.5的样本）
• v1-3：基于v1-2，在相同数据集训练195,000步，采用10%文本条件丢弃
• v1-4：基于v1-2，在"laion-aesthetics v2 5+"训练225,000步，10%文本条件丢弃
• v1-5：基于v1-2，相同配置训练595,000步
• inpainting：基于v1-5，440,000步修复训练，25%概率全掩码

硬件配置

• 32台8xA100 GPU
• 优化器：AdamW
• 梯度累积：2步
• 批量大小：2048
• 学习率：10,000步预热至0.0001后恒定

评估结果

不同无分类器引导尺度（1.5-8.0）和50步PNDM/PLMS采样的对比显示各检查点相对改进：

（基于COCO2017验证集的10,000个随机提示，512x512分辨率，50 PLMS步数评估，未优化FID分数）

环境影响

碳排放估算
根据机器学习碳影响计算器估算：

• 硬件类型： A100 PCIe 40GB
• 运行时长： 150,000小时
• 云服务商： AWS
• 区域： 美国东部
• 碳排放量： 11,250 kg CO2当量

引用

    @InProceedings{Rombach_2022_CVPR,  
        author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},  
        title     = {High-Resolution Image Synthesis With Latent Diffusion Models},  
        booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},  
        month     = {June},  
        year      = {2022},  
        pages     = {10684-10695}  
    }  

本模型卡由Robin Rombach和Patrick Esser编写，基于DALL-E Mini模型卡模板。