许可协议：creativeml-openrail-m
标签：

• 稳定扩散
• 稳定扩散-扩散器
• 文本生成图像
  推理支持：true

stable-diffusion-v1-5-GGUF

模型创建者：Runway ML
原始模型：stable-diffusion-v1-5
GGUF量化：基于stable-diffusion.cpp ac54e版本，由llama-box提供补丁。

Stable Diffusion v1-5 模型卡

⚠️ 此仓库是已弃用的ruwnayml/stable-diffusion-v1-5的镜像，此仓库或组织与RunwayML无任何关联。

对原始模型卡的修改以红色或绿色标注

Stable Diffusion是一种潜在文本到图像扩散模型，能够根据任何文本输入生成逼真的图像。
有关Stable Diffusion工作原理的更多信息，请参阅🤗的Stable Diffusion博客。

Stable-Diffusion-v1-5检查点使用Stable-Diffusion-v1-2的权重初始化，随后在"laion-aesthetics v2 5+"数据集上以512x512分辨率进行了595k步的微调，并丢弃了10%的文本条件以改进无分类器引导采样。

您可以通过🧨Diffusers库和RunwayML GitHub仓库（现已弃用）、ComfyUI、Automatic1111、SD.Next、InvokeAI使用此模型。

使用Diffusers

from diffusers import StableDiffusionPipeline  
import torch  

model_id = "sd-legacy/stable-diffusion-v1-5"  
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)  
pipe = pipe.to("cuda")  

prompt = "a photo of an astronaut riding a horse on mars"  
image = pipe(prompt).images[0]      

image.save("astronaut_rides_horse.png")  

更详细的指令、用例和JAX示例请参阅此处

使用GitHub仓库（现已弃用）、ComfyUI或Automatic1111

1. 下载权重

   • v1-5-pruned-emaonly.safetensors - 仅含ema权重，占用较少VRAM，适合推理
   • v1-5-pruned.safetensors - 包含ema和非ema权重，占用较多VRAM，适合微调

2. 按照此处的指令操作。（现已弃用）

3. 本地使用ComfyUI、AUTOMATIC1111、SD.Next、InvokeAI

模型详情

• 开发者： Robin Rombach, Patrick Esser

• 模型类型： 基于扩散的文本到图像生成模型

• 语言： 英语

• 许可协议： CreativeML OpenRAIL M许可证是一种Open RAIL M许可证，改编自BigScience和RAIL Initiative在负责任AI许可领域的联合工作。另请参阅关于BLOOM Open RAIL许可证的文章，我们的许可证基于此。

• 模型描述： 这是一个可用于根据文本提示生成和修改图像的模型。它是一个潜在扩散模型，使用了固定的预训练文本编码器（CLIP ViT-L/14），如Imagen论文所建议。

• 更多信息： GitHub仓库、论文。

• 引用方式：

  @InProceedings{Rombach_2022_CVPR,  
      author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},  
      title     = {High-Resolution Image Synthesis With Latent Diffusion Models},  
      booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},  
      month     = {June},  
      year      = {2022},  
      pages     = {10684-10695}  
  }  
  

用途

直接使用

该模型仅供研究用途。可能的研究领域和任务包括：

• 安全部署可能生成有害内容的模型。
• 探索和理解生成模型的局限性和偏见。
• 生成艺术作品并用于设计和其他艺术过程。
• 教育或创意工具中的应用。
• 生成模型的研究。

以下用途被排除在外。

滥用、恶意使用和超出范围的使用

注：本节取自DALLE-MINI模型卡，但同样适用于Stable Diffusion v1。

该模型不应被用于故意创建或传播为人们制造敌对或疏远环境的图像。这包括生成人们可预见会感到不安、痛苦或冒犯的图像；或传播历史或当前刻板印象的内容。

超出范围的使用

该模型未经过训练以生成人物或事件的真实表示，因此使用该模型生成此类内容超出了该模型的能力范围。

滥用和恶意使用

使用该模型生成对个人残忍的内容是对该模型的滥用。这包括但不限于：

• 生成贬低、非人化或以其他方式伤害人们或其环境、文化、宗教等的内容。
• 故意宣传或传播歧视性内容或有害刻板印象。
• 未经同意冒充个人。
• 未经可能看到的人同意生成性内容。
• 错误和虚假信息。
• 极端暴力和血腥的描绘。
• 违反使用条款共享受版权或许可的材料。
• 违反使用条款共享受版权或许可材料的修改版本。

局限性和偏见

局限性

• 该模型无法实现完美的照片级真实感。
• 该模型无法生成清晰的文本。
• 该模型在涉及组合性的更复杂任务上表现不佳，例如渲染“蓝色球体上的红色立方体”对应的图像。
• 面部和人物可能无法正确生成。
• 该模型主要使用英文标题进行训练，在其他语言中效果不佳。
• 模型的自动编码部分是有损的。
• 该模型在大型数据集LAION-5B上训练，其中包含成人内容，未经额外的安全机制和考虑不适合产品使用。
• 未使用额外的去重措施。因此，我们观察到训练数据中重复图像存在一定程度的记忆。可以通过https://rom1504.github.io/clip-retrieval/搜索训练数据，可能有助于检测记忆图像。

偏见

尽管图像生成模型的能力令人印象深刻，但它们也可能强化或加剧社会偏见。
Stable Diffusion v1在LAION-2B(en)的子集上训练，这些图像主要限于英文描述。
使用其他语言的社区和文化的文本和图像可能未被充分代表。
这影响了模型的整体输出，因为白人和西方文化通常被设为默认。此外，模型使用非英文提示生成内容的能力明显不如英文提示。

安全模块

该模型的预期用途是与Diffusers中的安全检查器一起使用。
此检查器通过将模型输出与已知硬编码的NSFW概念进行比较来工作。
这些概念被故意隐藏以减少逆向工程此过滤器的可能性。
具体来说，检查器比较生成图像后CLIPTextModel嵌入空间中有害概念的类别概率。
这些概念与生成的图像一起传入模型，并与每个NSFW概念的手工权重进行比较。

训练

训练数据
模型开发者使用以下数据集训练模型：

• LAION-2B（en）及其子集（见下一节）

训练过程
Stable Diffusion v1-5是一种潜在扩散模型，它将自动编码器与在自动编码器潜在空间中训练的扩散模型相结合。训练期间：

• 图像通过编码器编码，将图像转换为潜在表示。自动编码器使用相对下采样因子8，将形状为H x W x 3的图像映射为形状为H/f x W/f x 4的潜在表示。
• 文本提示通过ViT-L/14文本编码器编码。
• 文本编码器的非池化输出通过交叉注意力传入潜在扩散模型的UNet主干。
• 损失是添加到潜在的噪声与UNet预测之间的重建目标。

目前提供了六个Stable Diffusion检查点，训练方式如下。

• stable-diffusion-v1-1：在laion2B-en上以256x256分辨率训练237,000步。
  在laion-high-resolution（来自LAION-5B的170M示例，分辨率>= 1024x1024）上以512x512分辨率训练194,000步。
• stable-diffusion-v1-2：从stable-diffusion-v1-1继续训练。
  在"laion-improved-aesthetics"（laion2B-en的子集，筛选原始大小>= 512x512、估计美学分数> 5.0且估计水印概率< 0.5的图像。水印估计来自LAION-5B元数据，美学分数使用改进的美学估计器估计）上以512x512分辨率训练515,000步。
• stable-diffusion-v1-3：从stable-diffusion-v1-2继续训练 - 在"laion-improved-aesthetics"上以512x512分辨率训练195,000步，并丢弃10%的文本条件以改进无分类器引导采样。
• stable-diffusion-v1-4 从stable-diffusion-v1-2继续训练 - 在"laion-aesthetics v2 5+"上以512x512分辨率