许可协议: 其他 标签:

• 稳定扩散
• 文本生成图像
• 核心机器学习

稳定扩散v2模型卡片

该模型由Hugging Face使用苹果公司的代码库生成，该代码库遵循ASCL许可。

本模型卡片聚焦于与稳定扩散v2.1模型相关的模型，其代码库可在此处获取此处。

此stable-diffusion-2-1模型是在stable-diffusion-2（768-v-ema.ckpt）基础上，使用相同数据集（punsafe=0.1）额外训练55,000步后，再以punsafe=0.98进一步微调155,000步所得。

此处提供的权重已转换为Core ML格式，适用于苹果硅硬件。

Core ML权重共有4种变体：

coreml-stable-diffusion-2-base
├── original
│   ├── compiled              # Swift推理，"original"注意力机制
│   └── packages              # Python推理，"original"注意力机制
└── split_einsum
    ├── compiled              # Swift推理，"split_einsum"注意力机制
    └── packages              # Python推理，"split_einsum"注意力机制

详情请参阅https://huggingface.co/blog/diffusers-coreml。

• 搭配üß® diffusers使用
• 搭配stablediffusion代码库使用：在此处下载512-base-ema.ckpt下载链接。

模型详情

• 开发团队: Robin Rombach, Patrick Esser

• 模型类型: 基于扩散的文本生成图像模型

• 支持语言: 英语

• 许可协议: CreativeML Open RAIL++-M许可证

• 模型描述: 该模型可根据文本提示生成和修改图像，是基于潜在扩散模型构建，使用固定预训练文本编码器(OpenCLIP-ViT/H)。

• 更多资源: GitHub仓库。

• 引用方式:

  @InProceedings{Rombach_2022_CVPR,
      作者    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
      标题     = {基于潜在扩散模型的高分辨率图像合成},
      会议名称 = {IEEE/CVF计算机视觉与模式识别会议论文集(CVPR)},
      月份     = {六月},
      年份      = {2022},
      页码     = {10684-10695}
  }
  

用途

直接用途

本模型仅限研究用途，可能的研究领域包括：

• 安全部署可能生成有害内容的模型
• 探究生成模型的局限性与偏见
• 艺术创作及设计应用
• 教育或创意工具开发
• 生成模型相关研究

以下为禁止用途说明。

滥用、恶意使用及超范围使用

注：本节最初源自DALLE-MINI模型卡片，曾用于稳定扩散v1，同样适用于稳定扩散v2。

禁止使用本模型故意创建或传播制造敌对/疏离环境的图像，包括但不限于：

• 预见会引发不适/痛苦的图像
• 强化历史或现有刻板印象的内容

超范围使用

本模型未经训练以生成真实人物/事件的准确表征，因此此类内容生成超出模型能力范围。

滥用与恶意使用

禁止用于制造伤害性内容，包括：

• 贬低/非人化特定群体
• 传播歧视性内容或有害刻板印象
• 未经同意的个人仿冒
• 非合意性内容
• 虚假/误导信息
• 极端暴力/血腥内容
• 违反版权协议的素材分享
• 违反许可协议的改编内容分享

局限性与偏见

局限性

• 无法实现完美照片级真实感
• 无法生成可识别文字
• 对组合性任务（如"蓝色球体上的红色立方体"）表现欠佳
• 人脸/人物生成可能不准确
• 主要基于英文训练，其他语言效果较差
• 自编码部分存在信息损失
• 训练数据来自LAION-5B子集（含成人/暴力内容），虽经NSFW过滤器处理仍存残留

偏见

尽管图像生成能力卓越，但可能强化社会偏见：

• 主要训练数据LAION-2B(en)限于英文描述
• 非英语社区文化呈现不足
• 西方文化常被设为默认参照
• 非英语提示生成质量显著劣于英语提示
• 无论输入意图如何，使用者必须谨慎对待输出可能存在的偏见放大效应

训练过程

训练数据 开发者使用以下数据集：

• LAION-5B及其子集（经NSFW检测器过滤，p_unsafe=0.1保守阈值）。详见LAION-5B的NeurIPS 2022论文及相关评审讨论。

训练方法 稳定扩散v2是结合自编码器的潜在扩散模型：

1. 图像通过下采样因子8的编码器转为潜在表征（HxWx3→H/fxW/fx4）
2. 文本提示经OpenCLIP-ViT/H编码器处理
3. 文本编码输出通过交叉注意力注入UNet主干
4. 采用潜在空间噪声预测重构损失，并使用_v-目标函数_(参见https://arxiv.org/abs/2202.00512)

环境影响

稳定扩散v1碳排放估算 基于机器学习碳排放计算器（Lacoste等，2019）估算：

• 硬件类型: A100 PCIe 40GB
• 使用时长: 200,000小时
• 云服务商: AWS
• 计算区域: 美国东部
• 碳排放量: 15,000千克CO2当量

引用文献

@InProceedings{Rombach_2022_CVPR,
    作者    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
    标题     = {基于潜在扩散模型的高分辨率图像合成},
    会议名称 = {IEEE/CVF计算机视觉与模式识别会议论文集(CVPR)},
    月份     = {六月},
    年份      = {2022},
    页码     = {10684-10695}
}

本模型卡片由Robin Rombach、Patrick Esser和David Ha编写，基于稳定扩散v1和DALL-E Mini模型卡片内容。