许可证：creativeml-openrail-m
标签：

• stable-diffusion

• stable-diffusion-diffusers

• text-to-image
  推理：true
  额外授权提示：|-
  本模型采用CreativeML OpenRAIL-M许可证开放访问，所有用户均可使用，该许可证进一步规定了权利与使用条款。
  CreativeML OpenRAIL许可证明确规定：

  1. 禁止利用模型故意生成或传播非法、有害内容
  2. CompVis对用户生成内容不主张任何权利，使用者可自由运用但须对使用行为负责，且不得违反许可证规定
  3. 允许商业用途及服务化使用/再分发模型权重，但必须包含相同的使用限制条款，并向所有用户提供CreativeML OpenRAIL-M许可证副本（请完整仔细阅读许可证）
     完整许可证请查阅：https://huggingface.co/spaces/CompVis/stable-diffusion-license

额外授权标题：访问模型前请阅读LICENSE

Stable Diffusion v1-5 模型卡片

注意：⚠️ 本仓库是已弃用的ruwnayml/stable-diffusion-v1-5镜像，与RunwayML无任何关联。如有法律诉求可申请移除。

Stable Diffusion是一种潜在文本到图像扩散模型，能够根据任意文本输入生成逼真图像。
功能原理详见🤗的Stable Diffusion博客。

Stable-Diffusion-v1-5检查点基于Stable-Diffusion-v1-2权重初始化，
后在"laion-aesthetics v2 5+"数据集上以512x512分辨率进行595k步微调，并采用10%文本条件丢弃以优化无分类器引导采样。

可通过🧨Diffusers库或RunwayML GitHub仓库使用。

Diffusers使用示例

from diffusers import StableDiffusionPipeline  
import torch  

model_id = "runwayml/stable-diffusion-v1-5"  
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)  
pipe = pipe.to("cuda")  

prompt = "火星上宇航员骑马的照片"  
image = pipe(prompt).images[0]      

image.save("astronaut_rides_horse.png")  

更多JAX环境下的详细指令、用例和示例参见此处

原始GitHub仓库

1. 下载权重文件

   • v1-5-pruned-emaonly.ckpt - 4.27GB，仅含EMA权重，显存占用低，适合推理
   • v1-5-pruned.ckpt - 7.7GB，含EMA与非EMA权重，显存需求高，适合微调

2. 遵循此处说明

模型详情

• 开发者: Robin Rombach, Patrick Esser

• 模型类型: 基于扩散的文本到图像生成模型

• 语言: 英语

• 许可证: CreativeML OpenRAIL M许可证，改编自BigScience与RAIL Initiative在负责任AI许可领域的合作成果，详见BLOOM Open RAIL许可证文章。

• 模型描述: 可通过文本提示生成和修改图像的潜在扩散模型，采用Imagen论文建议的固定预训练文本编码器(CLIP ViT-L/14)。

• 更多资源: GitHub仓库, 论文。

• 引用格式:

  @InProceedings{Rombach_2022_CVPR,  
      author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},  
      title     = {High-Resolution Image Synthesis With Latent Diffusion Models},  
      booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},  
      month     = {June},  
      year      = {2022},  
      pages     = {10684-10695}  
  }  
  

用途

直接用途

本模型仅限研究用途，适用领域包括：

• 安全部署可能生成有害内容的模型
• 探究生成模型的局限性与偏差
• 艺术创作与设计应用
• 教育/创意工具开发
• 生成模型研究

禁用场景

（本节改编自DALLE-MINI模型卡片，同样适用于Stable Diffusion v1）

禁止用于制造或传播以下内容：

• 令人不适/痛苦的图像或历史/当代刻板印象
• 非事实性的人物/事件表征（超出模型能力范围）
• 针对个体的侮辱性内容
• 未经同意的仿冒行为/色情内容
• 虚假信息与暴力血腥内容
• 违反版权条款的内容分享/改编

局限性与偏差

局限性

• 无法达到完美逼真度
• 无法生成可读文本
• 复杂组合任务（如"蓝色球体上的红色立方体"）表现欠佳
• 人脸/人体生成可能失真
• 主要基于英语训练，其他语言效果较差
• 自编码部分存在信息损耗
• 训练数据含成人内容（LAION-5B），需额外安全机制
• 存在训练数据记忆现象，可通过CLIP检索工具检测

偏差

模型可能强化社会偏见：

• 训练数据LAION-2B(en)以英语描述为主
• 非英语社区文化表征不足
• 西方文化被默认为标准输出

安全模块

建议配合Diffusers的安全检查器使用，该模块通过CLIPTextModel嵌入空间比对预定义的NSFW概念权重进行过滤。

训练

训练数据

• LAION-2B(en)及其子集

训练过程
潜在扩散模型结合自编码器与扩散模型：

1. 图像通过编码器转为潜在表示（下采样因子8，HxWx3→H/fxW/fx4）
2. 文本提示经ViT-L/14文本编码器处理
3. 文本编码器的非池化输出通过交叉注意力注入UNet主干
4. 损失函数为潜在空间噪声与UNet预测的重构目标

版本演进

• v1-1：laion2B-en上256x256分辨率237k步 + laion-high-resolution上512x512分辨率194k步
• v1-2：改进美学数据集（≥512x512，美学分>5.0，水印概率<0.5）515k步
• v1-3：v1-2基础上增加10%文本条件丢弃
• v1-4/v1-5：laion-aesthetics v2 5+数据集，分别225k/595k步
• inpainting：v1-5基础上440k步修复训练，25%概率全掩码

硬件配置

• 32台8xA100 GPU
• AdamW优化器，梯度累积2步
• 批量2048，学习率0.0001（10000步预热）

评估结果

不同分类器引导尺度(1.5-8.0)与50步PNDM/PLMS采样的对比显示各检查点相对改进：

（基于COCO2017验证集10000条提示，512x512分辨率，50 PLMS步，未优化FID分数）

环境影响

碳排放估算（基于ML Impact计算器）

• 硬件类型：A100 PCIe 40GB
• 使用时长：150000小时
• 云服务商：AWS美东区域
• 碳排放量：11250 kg CO2当量

引用

    @InProceedings{Rombach_2022_CVPR,  
        author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},  
        title     = {High-Resolution Image Synthesis With Latent Diffusion Models},  
        booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},  
        month     = {June},  
        year      = {2022},  
        pages     = {10684-10695}  
    }  

本模型卡片由Robin Rombach与Patrick Esser编写，参考DALL-E Mini模型卡片。