license: openrail++ tags:

• stable-diffusion
• text-to-image
• core-ml

Stable Diffusion v2-1-base 模型卡

该模型由Hugging Face使用苹果的代码库生成，该代码库采用ASCL许可证。

本模型卡重点介绍与Stable Diffusion v2-1-base模型相关的信息。

此stable-diffusion-2-1-base模型是在stable-diffusion-2-base（512-base-ema.ckpt）基础上，使用相同数据集以punsafe=0.98参数额外训练22万步得到的微调版本。

当前权重已转换为Core ML格式，适用于苹果芯片硬件。

Core ML权重包含4种变体：

coreml-stable-diffusion-2-1-base
├── original
│   ├── compiled              # Swift推理，"original"注意力机制
│   └── packages              # Python推理，"original"注意力机制
└── split_einsum
    ├── compiled              # Swift推理，"split_einsum"注意力机制
    └── packages              # Python推理，"split_einsum"注意力机制

详情请参阅：https://huggingface.co/blog/diffusers-coreml

• 与🧨diffusers库配合使用
• 与stablediffusion代码库配合使用：在此下载v2-1_512-ema-pruned.ckpt文件

模型详情

• 开发团队: Robin Rombach, Patrick Esser

• 模型类型: 基于扩散的文本生成图像模型

• 支持语言: 英语

• 许可证: CreativeML Open RAIL++-M License

• 模型描述: 该模型可根据文本提示生成和修改图像，是基于潜在扩散模型架构，使用固定预训练文本编码器(OpenCLIP-ViT/H)。

• 更多资源: GitHub代码库

• 引用格式:

  @InProceedings{Rombach_2022_CVPR,
      author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
      title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
      booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
      month     = {June},
      year      = {2022},
      pages     = {10684-10695}
  }
  

用途

直接用途

本模型仅限研究用途，适用领域包括：

• 安全部署可能生成有害内容的模型
• 探究生成模型的局限性和偏见
• 艺术创作与设计应用
• 教育或创意工具开发
• 生成模型相关研究

以下为禁止用途说明。

滥用、恶意使用及超范围使用

注：本节内容源自DALLE-MINI模型卡，原用于Stable Diffusion v1，同样适用于v2版本。

禁止使用本模型故意创建或传播制造敌意环境的图像。包括但不限于：

• 生成令人不适、痛苦或冒犯的内容
• 传播历史或现存刻板印象

超范围使用

本模型未经训练以生成真实人物/事件的准确表征，因此此类应用超出模型能力范围。

滥用与恶意使用

包括但不限于：

• 生成贬低、物化或伤害个体/群体的内容
• 传播歧视性内容或有害刻板印象
• 未经同意的个人身份仿冒
• 非合意性内容
• 虚假/误导信息
• 极端暴力/血腥内容
• 违反版权协议的素材传播
• 违反许可条款的改编内容

局限性与偏见

局限性

• 无法实现完美照片级真实感
• 无法生成可辨识文字
• 对组合性任务表现欠佳（如"蓝色球体上的红色立方体"）
• 人脸/人物生成可能不准确
• 主要基于英文描述训练，其他语言效果较差
• 自编码部分存在信息损失
• 训练数据来自LAION-5B子集（含成人/暴力内容），已通过NSFW检测器过滤

偏见

虽然图像生成能力出色，但可能强化社会偏见：

• 主要训练数据LAION-2B(en)限于英文描述
• 非英语社区文化表征不足
• 西方文化被设为默认参照系
• 非英文提示生成质量显著低于英文提示
• 无论输入意图如何，使用者都应保持审慎

训练过程

训练数据 开发团队使用以下数据集：

• LAION-5B及其子集（经NSFW检测器过滤，p_unsafe=0.1）。详见LAION-5B的NeurIPS 2022论文。

训练方法 Stable Diffusion v2是结合自编码器的潜在扩散模型：

• 图像通过下采样因子8的编码器转为潜在表征
• 文本提示通过OpenCLIP-ViT/H编码器处理
• 文本编码输出通过交叉注意力注入UNet主干
• 采用潜在空间噪声预测的重构目标及_v-目标_损失函数（参见https://arxiv.org/abs/2202.00512）

版本2.1

• 512-base-ema.ckpt：基于2.0版本512-base-ema.ckpt，相同数据集punsafe=0.98参数下额外训练22万步
• 768-v-ema.ckpt：基于2.0版本768-v-ema.ckpt，先以punsafe=0.1训练5.5万步，再以punsafe=0.98微调15.5万步

版本2.0

（各版本训练细节说明，包括分辨率、数据集过滤条件、训练步数等专业描述）

• 硬件配置: 32×8×A100 GPU
• 优化器: AdamW
• 梯度累积: 1
• 批量大小: 2048
• 学习率: 10000步预热至0.0001后保持恒定

评估结果

不同分类器自由引导尺度(1.5-8.0)和50步DDIM采样的对比评估：

基于COCO2017验证集的10000条随机提示，512×512分辨率评估（非FID优化）。

环境影响

Stable Diffusion v1碳排放估算 基于机器学习碳排放计算器（Lacoste等，2019）估算：

• 硬件类型: A100 PCIe 40GB
• 使用时长: 200000小时
• 云服务商: AWS
• 计算区域: 美国东部
• 碳排放量: 15000千克CO2当量

引用文献

@InProceedings{Rombach_2022_CVPR,
    author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
    title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {10684-10695}
}

本模型卡由Pedro Cuenca根据Robin Rombach、Patrick Esser和David Ha撰写的原始版本改编，参考了Stable Diffusion v1和DALL-E Mini模型卡。