许可证：creativeml-openrail-m
标签：

• stable-diffusion

• stable-diffusion-diffusers

• text-to-image
  推理：true
  额外授权提示：|-
  本模型采用CreativeML OpenRAIL-M许可证，面向所有人开放访问和使用。
  CreativeML OpenRAIL许可证明确规定：

  1. 禁止利用模型故意生成或传播非法及有害内容
  2. CompVis对用户生成内容不主张任何权利，使用者需自行负责内容合规性
  3. 允许商用及服务化部署，但必须包含相同使用限制条款并向所有用户提供许可证副本
     完整许可证请查阅：https://huggingface.co/spaces/CompVis/stable-diffusion-license

额外授权标题：请阅读许可证以访问本模型

Stable Diffusion v1-5 模型卡

Stable Diffusion是一种潜在文本到图像扩散模型，能够根据文本输入生成逼真图像。
技术原理详见🤗的Stable Diffusion博客。

Stable-Diffusion-v1-5检查点基于v1-2版本权重初始化，
后在"laion-aesthetics v2 5+"数据集上以512x512分辨率进行595k步微调，并采用10%文本条件丢弃以优化分类器无关引导采样。

支持通过🧨Diffusers库和RunwayML GitHub仓库使用。

Diffusers使用

from diffusers import StableDiffusionPipeline  
import torch  

model_id = "runwayml/stable-diffusion-v1-5"  
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)  
pipe = pipe.to("cuda")  

prompt = "火星上宇航员骑马的照片"  
image = pipe(prompt).images[0]      
image.save("astronaut_rides_horse.png")  

更多JAX用例详见diffusers使用指南

原始GitHub仓库

1. 下载权重文件
   • v1-5-pruned-emaonly.ckpt - 4.27GB，仅含EMA权重，适合推理
   • v1-5-pruned.ckpt - 7.7GB，含EMA+非EMA权重，适合微调
2. 按照仓库说明操作

模型详情

• 开发者: Robin Rombach, Patrick Esser
• 类型: 基于扩散的文本到图像生成模型
• 语言: 英语
• 许可证: CreativeML OpenRAIL M许可证，源自BigScience与RAIL倡议的合作成果
• 描述: 采用潜在扩散模型架构，固定使用CLIP ViT-L/14文本编码器
• 资源: GitHub仓库, 论文
• 引用:
  @InProceedings{Rombach_2022_CVPR,
  author = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj"orn},
  title = {高分辨率图像合成的潜在扩散模型},
  booktitle = {IEEE/CVF计算机视觉与模式识别会议论文集},
  month = {六月},
  year = {2022},
  pages = {10684-10695}
  }

用途

直接用途

本模型仅限研究用途，包括：

• 生成模型的安全部署研究
• 探索生成模型的局限性与偏差
• 艺术创作与设计应用
• 教育/创意工具开发

禁用用途

（改编自DALLE-MINI模型卡）
禁止用于：

• 制造敌对性内容
• 传播历史/当代刻板印象
• 非自愿肖像生成
• 未经同意的成人内容
• 虚假信息传播
• 极端暴力内容渲染
• 侵犯版权内容生成

局限与偏差

局限性

• 无法实现完美写实
• 文本渲染能力有限
• 复杂构图（如"蓝色球体上的红色立方体"）表现欠佳
• 人脸生成可能失真
• 主要支持英语提示词
• 基于LAION-5B数据集训练，存在成人内容风险
• 存在图像记忆现象（可通过CLIP检索工具检测）

偏差问题

训练数据以英文描述为主，可能导致：

• 西方文化默认输出倾向
• 非英语提示效果显著下降

安全模块

建议配合Diffusers的安全检查器使用，该模块通过CLIP文本模型嵌入空间检测NSFW内容。

训练

训练数据

• LAION-2B (en)及其子集

训练过程

• 图像通过下采样因子8的编码器转换为潜在表示
• 文本提示经ViT-L/14编码器处理
• 文本编码器输出通过交叉注意力注入UNet主干
• 采用潜在噪声重建目标函数

版本演进

• v1-1：laion2B-en数据集256x256训练237k步 + 高分辨率数据集512x512训练194k步
• v1-2：基于v1-1，在筛选美学评分>5.0的512x512图像上训练515k步
• v1-3：基于v1-2，增加10%文本条件丢弃训练195k步
• v1-4：基于v1-2，"laion-aesthetics v2 5+"数据集训练225k步
• v1-5：基于v1-2，"laion-aesthetics v2 5+"数据集训练595k步
• inpainting版本：基于v1-5，440k步修复训练

硬件配置

• 32台8xA100 GPU集群
• AdamW优化器，2048批量大小
• 0.0001学习率（10000步预热）

评估结果

不同分类器引导尺度（1.5-8.0）下的性能比较：

（基于COCO2017验证集10000条提示，50 PLMS步数，512x512分辨率）

环境影响

碳排放估算
使用ML碳排放计算器估算：

• 硬件类型: A100 PCIe 40GB
• 运行时长: 150000小时
• 云服务商: AWS美东区域
• 碳排放量: 11250 kg CO2当量

引用

    @InProceedings{Rombach_2022_CVPR,  
        author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},  
        title     = {高分辨率图像合成的潜在扩散模型},  
        booktitle = {IEEE/CVF计算机视觉与模式识别会议论文集},  
        month     = {六月},  
        year      = {2022},  
        pages     = {10684-10695}  
    }  

本模型卡由Robin Rombach和Patrick Esser编写，参考DALL-E Mini模型卡格式。