许可证：creativeml-openrail-m
标签：

• stable-diffusion

• stable-diffusion-diffusers

• text-to-image
  推理：false
  额外授权提示：|-
  本模型采用CreativeML OpenRAIL-M许可证开放访问，所有用户均可使用，该许可证进一步规定了权利和使用条款。

  1. 禁止使用该模型故意生成或传播非法或有害内容
  2. CompVis对用户生成的内容不主张任何权利，用户可自由使用但须对使用行为负责，且不得违反许可证规定
  3. 允许商业用途及模型权重再分发。若进行此类操作，须包含相同的使用限制条款，并向所有用户提供CreativeML OpenRAIL-M许可证副本（请完整仔细阅读许可证）
     完整许可证请见：https://huggingface.co/spaces/CompVis/stable-diffusion-license

  点击下方"访问仓库"即表示同意您的联系信息（电子邮件地址和用户名）可与模型作者共享。

额外授权字段：
我已阅读并同意许可证条款：复选框

Stable Diffusion v1-5 模型卡

Stable Diffusion是一种基于潜在扩散模型的文生图技术，能够根据任意文本输入生成逼真图像。
更多技术细节请参阅🤗的Stable Diffusion博客。

Stable-Diffusion-v1-5检查点基于Stable-Diffusion-v1-2权重初始化，
后在"laion-aesthetics v2 5+"数据集上以512x512分辨率进行595k步微调，并采用10%文本条件丢弃以优化无分类器引导采样。

可通过🧨Diffusers库或RunwayML GitHub仓库使用。

Diffusers示例

from diffusers import StableDiffusionPipeline  
import torch  

model_id = "runwayml/stable-diffusion-v1-5"  
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16, revision="fp16")  
pipe = pipe.to(device)  

prompt = "火星上宇航员骑马的照片"  
image = pipe(prompt).images[0]    

image.save("astronaut_rides_horse.png")  

更多JAX环境下的详细用法示例参见此处

原始GitHub仓库

1. 下载权重文件

   • v1-5-pruned-emaonly.ckpt - 4.27GB，仅含EMA权重，适合推理
   • v1-5-pruned.ckpt - 7.7GB，包含EMA和非EMA权重，适合微调

2. 按照说明文档操作

模型详情

• 开发者: Robin Rombach, Patrick Esser

• 模型类型: 基于扩散的文生图模型

• 语言: 英语

• 许可证: CreativeML OpenRAIL M许可证，改编自BigScience与RAIL Initiative在负责任AI许可领域的合作成果。参见BLOOM Open RAIL许可证文章。

• 模型描述: 该模型可通过文本提示生成和修改图像，是基于潜在扩散模型架构，采用Imagen论文建议的固定预训练文本编码器(CLIP ViT-L/14)。

• 更多资源: GitHub仓库, 论文。

• 引用格式:

  @InProceedings{Rombach_2022_CVPR,  
      author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},  
      title     = {High-Resolution Image Synthesis With Latent Diffusion Models},  
      booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},  
      month     = {June},  
      year      = {2022},  
      pages     = {10684-10695}  
  }  
  

用途

直接用途

本模型仅限研究用途，适用领域包括：

• 安全部署可能生成有害内容的模型
• 探究生成模型的局限性与偏见
• 艺术创作与设计应用
• 教育或创意工具开发
• 生成模型研究

以下为禁止用途说明。

滥用、恶意使用及超范围使用

注：本节改编自DALLE-MINI模型卡，内容同样适用于Stable Diffusion v1

禁止使用本模型故意创建或传播以下内容：

• 使人感到不适、痛苦或冒犯的图像
• 强化历史或现存刻板印象的内容
• 对个人或群体的贬低性描绘
• 未经同意的个人身份仿冒
• 非自愿性成人内容
• 虚假/误导性信息
• 极端暴力与血腥内容
• 违反版权/许可协议的素材

局限性与偏见

局限性

• 无法达到完美逼真度
• 无法生成可读文本
• 复杂组合场景（如"蓝色球体上的红色立方体"）表现欠佳
• 人物面部生成可能不准确
• 主要基于英语描述训练，其他语言效果较差
• 自编码部分存在信息损耗
• 训练数据包含成人内容（来自LAION-5B），需额外安全措施
• 存在训练数据记忆现象，可通过CLIP检索工具检测

偏见

模型可能强化社会偏见：

• 训练数据LAION-2B(en)主要包含英语描述
• 非英语社区文化代表性不足
• 西方文化默认设置为输出主导

安全模块

建议配合Diffusers的安全检查器使用，该模块通过CLIPTextModel嵌入空间比对预定义的NSFW概念。

训练

训练数据

• LAION-2B (en)及其子集

训练过程
Stable Diffusion v1-5是结合自编码器的潜在扩散模型：

• 图像通过编码器转为潜在表示（下采样因子8）
• 文本提示通过ViT-L/14文本编码器处理
• 文本编码器的非池化输出通过交叉注意力注入UNet主干
• 损失函数为潜在空间噪声与UNet预测的重构目标

各版本训练详情：

• v1-1：laion2B-en数据集256x256分辨率训练237k步，laion-high-resolution数据集512x512训练194k步

• v1-2：基于v1-1，在筛选后的"laion-improved-aesthetics"子集训练515k步

• v1-3：基于v1-2，增加10%文本条件丢弃

• v1-4/v1-5：基于v1-2，在"laion-aesthetics v2 5+"训练225k/595k步

• inpainting版本：基于v1-5，440k步修复训练

• 硬件: 32台8xA100 GPU

• 优化器: AdamW

• 梯度累积: 2次

• 批量大小: 2048

• 学习率: 10k步预热至0.0001后保持恒定

评估结果

不同无分类器引导尺度(1.5-8.0)与50步PNDM/PLMS采样的对比评估：

基于COCO2017验证集的10000条随机提示，512x512分辨率评估（未优化FID分数）。

环境影响

碳排放估算
使用机器学习碳影响计算器估算：

• 硬件类型: A100 PCIe 40GB
• 使用时长: 150000小时
• 云服务商: AWS
• 区域: 美东
• 碳排放量: 11250 kg CO2当量

引用

    @InProceedings{Rombach_2022_CVPR,  
        author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},  
        title     = {High-Resolution Image Synthesis With Latent Diffusion Models},  
        booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},  
        month     = {June},  
        year      = {2022},  
        pages     = {10684-10695}  
    }  

本模型卡由Robin Rombach和Patrick Esser编写，基于DALL-E Mini模型卡模板。