🚀 安全稳定扩散模型卡

安全稳定扩散（Safe Stable Diffusion）是一种潜在文本到图像的扩散模型，能够根据任何文本输入生成逼真的图像。该模型旨在抑制其他大型扩散模型常常意外生成的“不适当”图像。

安全稳定扩散与稳定扩散 v1.5 共享权重。更多信息请查看 稳定扩散 v1.5 和 ü§ó 的稳定扩散博客。

目前，你可以通过 ml-research GitHub 仓库 使用该模型，不久后也将支持 üß®Diffusers 库。查看 此拉取请求 以获取更新信息。

✨ 主要特性

• 能够根据文本输入生成逼真的图像。
• 抑制其他大型扩散模型常意外生成的“不适当”图像。
• 与稳定扩散 v1.5 共享权重。

📦 安装指南

原始 GitHub 仓库安装步骤

1. 下载此模型的任意一个检查点：
   • v1-5-pruned-emaonly.ckpt - 4.27GB，仅包含 EMA 权重，使用较少的显存，适合推理。
   • v1-5-pruned.ckpt - 7.7GB，包含 EMA 和非 EMA 权重，使用较多的显存，适合微调。
2. 安装安全潜在扩散库：

$ pip install git+https://github.com/ml-research/safe-latent-diffusion.git 

3. 按如下方式加载 SLD 管道：

from sld import SLDPipeline
device='cuda'
#####################
# 本地权重克隆路径
ckpt_path = ''
####################
pipe = SLDPipeline.from_pretrained(
    ckpt_path,
).to(device)    

💻 使用示例

基础用法

from sld import SLDPipeline
device='cuda'
# 本地权重克隆路径
ckpt_path = ''
pipe = SLDPipeline.from_pretrained(
    ckpt_path,
).to(device)    

📚 详细文档

“不适当”内容的定义

什么被认为是不适当的图像可能因上下文、环境、文化和社会倾向以及个人因素而异，总体上具有高度主观性。在这项工作中，我们对不适当内容的定义基于 Gebru 等人的研究：

[直接查看时] 可能具有冒犯性、侮辱性、威胁性，或以其他方式引起焦虑的数据。

--Gebru, Timnit, et al. "Datasheets for datasets," (2021)

具体而言，我们认为以下类别的图像属于不适当内容：仇恨、骚扰、暴力、自残、色情内容、惊悚图像、非法活动。请注意，不适当性不限于这些概念，不同文化之间存在差异，并且不断演变。

模型详情

@article{schramowski2022safe,
      title={Safe Latent Diffusion: Mitigating Inappropriate Degeneration in Diffusion Models}, 
      author={Patrick Schramowski and Manuel Brack and Björn Deiseroth and Kristian Kersting},
      year={2022},
      journal={arXiv preprint arXiv:2211.05105}
}

用途

直接使用

该模型仅用于研究目的。可能的研究领域和任务包括：

• 安全部署有可能生成有害内容的模型。
• 探索和理解生成模型的局限性和偏差。
• 生成艺术作品并用于设计和其他艺术过程。
• 在教育或创意工具中的应用。
• 对生成模型的研究。

以下是排除的使用情况。

滥用、恶意使用和超出范围的使用

注意：本节内容取自 DALLE - MINI 模型卡，同样适用于安全稳定扩散。

该模型不应被用于故意创建或传播为人们创造敌对或疏离环境的图像。这包括生成人们可预见会感到不安、痛苦或冒犯的图像；或传播历史或当前刻板印象的内容。

超出范围的使用

该模型并非用于生成关于人物或事件的事实或真实表述，因此使用该模型生成此类内容超出了该模型的能力范围。此外，默认的安全概念仅减少与上述类别（仇恨、骚扰、暴力、自残、色情内容、惊悚图像、非法活动）相关的内容。减轻其他不适当材料超出了该模型的范围，需要改变安全概念。此外，该方法依赖于模型学习到的这些概念的表示来识别和纠正相应的内容。模型本身无法将图像与我们对不适当性的文本定义相关联的情况也超出了范围。

滥用和恶意使用

使用该模型生成对个人残忍的内容是对该模型的滥用。这包括但不限于：

• 生成贬低、非人化或以其他方式伤害人们或其环境、文化、宗教等的表述。
• 故意推广或传播歧视性内容或有害的刻板印象。
• 在未经个人同意的情况下模仿他们。
• 在可能看到的人未同意的情况下生成色情内容。
• 虚假和误导性信息。
• 令人震惊的暴力和血腥场面的表述。
• 违反使用条款分享受版权保护或有许可证的材料。
• 违反使用条款分享受版权保护或有许可证材料的修改版本。

局限性和偏差

局限性

• 模型无法实现完美的逼真度。
• 模型无法渲染清晰可读的文本。
• 模型在涉及组合性的更困难任务上表现不佳，例如渲染对应于“一个红色立方体在蓝色球体之上”的图像。
• 面部和人物总体上可能无法正确生成。
• 模型主要使用英语字幕进行训练，在其他语言中的效果不佳。
• 模型的自动编码部分存在信息损失。
• 模型在大规模数据集 LAION - 5B 上进行训练，该数据集包含成人内容，在没有额外安全机制和考虑的情况下不适合产品使用。
• 未使用额外措施对数据集进行去重。因此，我们观察到模型对训练数据中重复的图像有一定程度的记忆。可以在 [https://rom1504.github.io/clip - retrieval/](https://rom1504.github.io/clip - retrieval/) 上搜索训练数据，以帮助检测记忆的图像。

偏差

虽然图像生成模型的能力令人印象深刻，但它们也可能强化或加剧社会偏差。稳定扩散 v1 在 LAION - 2B(en) 的子集上进行训练，该数据集主要由英语描述的图像组成。来自使用其他语言的社区和文化的文本和图像可能没有得到充分考虑。这影响了模型的整体输出，因为白人和西方文化通常被设定为默认。此外，模型使用非英语提示生成内容的能力明显低于使用英语提示。另外，模型对不适当性的概念和所包含概念的定义同样偏向于西方、英语的认知。

安全模块

该模型的预期用途是与 Diffusers 中的 安全检查器 一起使用。该检查器通过将模型输出与已知的硬编码 NSFW 概念进行比较来工作。这些概念被故意隐藏以降低逆向工程此过滤器的可能性。具体而言，检查器在图像生成后，在 CLIPTextModel 的嵌入空间中比较有害概念的类别概率。这些概念与生成的图像一起传入模型，并与每个 NSFW 概念的手工设计权重进行比较。

训练

训练数据

模型开发者使用以下数据集训练模型：

• LAION - 2B (en) 及其子集（见下一节）

训练过程

有关基础稳定扩散 v1.5 的训练过程，请查看其 模型卡。安全稳定扩散不进行任何额外的训练，仅对稳定扩散 v1.4 模型进行广泛评估。

• 硬件：A100 GPUs

评估结果

使用 I2P 基准 和稳定扩散 v1.4 检查点对不适当性缓解进行评估。

该表显示了在 I2P 提示下生成不适当内容的概率。SLD 配置指的是以下超参数：

对每个 I2G 提示使用 10 张图像进行评估。

环境影响

安全稳定扩散估计排放量

在评估和开发我们的方法时，我们使用 Lacoste 等人 (2019) 中提出的 机器学习影响计算器 估计了以下 CO2 排放量。利用硬件、运行时间和计算区域来估计碳影响。

• 硬件类型：A100 PCIe 40GB & A100 SXM4 80GB
• 使用时长：130 小时
• 云服务提供商：私有基础设施
• 计算区域：德国
• 碳排放（功耗 x 时间 x 基于电网位置产生的碳）：20.62 kg CO2 当量

引用

@article{schramowski2022safe,
      title={Safe Latent Diffusion: Mitigating Inappropriate Degeneration in Diffusion Models}, 
      author={Patrick Schramowski and Manuel Brack and Björn Deiseroth and Kristian Kersting},
      year={2022},
      journal={arXiv preprint arXiv:2211.05105}
}

此模型卡由 Manuel Brack 编写，基于 稳定扩散 v1.5 模型卡。