许可证：creativeml-openrail-m
标签：

• stable-diffusion

• stable-diffusion-diffusers

• text-to-image
  推理：true
  额外授权提示：>
  本模型采用CreativeML OpenRAIL-M许可证开放访问，允许所有人使用，该许可证进一步明确了权利和使用条款。

  CreativeML OpenRAIL许可证规定：

  1. 禁止使用该模型故意生成或传播非法或有害的输出或内容
  2. CompVis对用户生成的输出内容不主张任何权利，用户可自由使用但须对使用行为负责，且不得违反许可证条款
  3. 允许商用或作为服务重新分发模型权重。若如此做，必须包含相同的使用限制条款，并向所有用户提供CreativeML OpenRAIL-M许可证副本（请完整仔细阅读许可证）

  完整许可证请查阅：
  https://huggingface.co/spaces/CompVis/stable-diffusion-license

额外授权标题：请阅读许可证以访问此模型
复刻来源：runwayml/stable-diffusion-v1-5

Stable Diffusion v1-5 模型卡

Stable Diffusion是一种潜在文本到图像扩散模型，能够根据任意文本输入生成逼真图像。
更多工作原理请参阅🤗的Stable Diffusion博客。

Stable-Diffusion-v1-5检查点基于Stable-Diffusion-v1-2权重初始化，后在"laion-aesthetics v2 5+"数据集上以512x512分辨率微调595k步，并采用10%文本条件丢弃以改进分类器自由引导采样。

可通过🧨Diffusers库或RunwayML GitHub存档库使用。

Diffusers示例

from diffusers import StableDiffusionPipeline  
import torch  

model_id = "ashllay/stable-diffusion-v1-5"  
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)  
pipe = pipe.to("cuda")  

prompt = "火星上宇航员骑马的照片"  
image = pipe(prompt).images[0]  

image.save("astronaut_rides_horse.png")  

更多JAX使用说明和案例参见此处

原始GitHub仓库

1. 下载权重：
   • v1-5-pruned-emaonly.ckpt - 4.27GB，仅含EMA权重，适合推理
   • v1-5-pruned.ckpt - 7.7GB，含EMA和非EMA权重，适合微调
2. 按照此处说明操作

模型详情

• 开发者： Robin Rombach, Patrick Esser
• 类型： 基于扩散的文本到图像生成模型
• 语言： 英语
• 许可证： CreativeML OpenRAIL M许可证，改编自BigScience与RAIL倡议的合作成果，详见BLOOM Open RAIL许可证文章
• 描述： 该模型通过文本提示生成和修改图像，采用潜在扩散模型和固定预训练文本编码器(CLIP ViT-L/14)
• 资源： GitHub仓库, 论文
• 引用：
  @InProceedings{Rombach_2022_CVPR,
  author = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj"orn},
  title = {High-Resolution Image Synthesis With Latent Diffusion Models},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2022},
  pages = {10684-10695}
  }

用途

直接使用

本模型仅限研究用途，包括：

• 安全部署可能生成有害内容的模型
• 探究生成模型的局限性和偏见
• 艺术创作和设计应用
• 教育或创意工具开发

禁用用途

（改编自DALLE-MINI模型卡）
禁止用于：

• 制造敌对环境的内容
• 传播历史或当前刻板印象
• 未经同意的个人模仿
• 非自愿性内容
• 虚假信息
• 极端暴力内容
• 侵犯版权内容

局限性与偏见

局限性

• 无法达到完美逼真度
• 无法生成可读文本
• 复杂构图任务表现欠佳
• 人脸生成可能不准确
• 主要支持英语提示
• 自编码部分存在信息损失
• 训练数据含成人内容需额外安全措施
• 存在图像记忆现象（可通过CLIP检索工具检测）

偏见

模型可能强化社会偏见：

• 训练数据LAION-2B(en)以英文描述为主
• 非英语文化内容覆盖不足
• 西方文化被设为默认输出风格

安全模块

建议配合Diffusers的安全检查器使用，该模块通过CLIP文本模型嵌入空间比对预定义NSFW概念。

训练

数据： LAION-2B(en)及其子集
过程：

• 图像通过编码器转换为潜在表示（下采样因子8）
• 文本提示通过ViT-L/14编码器处理
• 文本编码器输出通过交叉注意力注入UNet主干
• 损失函数为潜在噪声与UNet预测间的重建目标

版本迭代：

• v1.1：laion2B-en数据集256x256分辨率训练237k步 + laion-high-resolution 512x512训练194k步
• v1.2：改进美学数据集515k步
• v1.3：增加10%文本条件丢弃
• v1.4：laion-aesthetics v2 5+数据集225k步
• v1.5：同数据集595k步
• inpainting版本：440k步专门修复训练

硬件： 32×8×A100 GPU
参数： AdamW优化器，2048批量大小，0.0001学习率

评估结果

不同分类器引导尺度(1.5-8.0)和50步PNDM/PLMS采样的对比评估：

（基于COCO2017验证集10000条提示，512x512分辨率，未优化FID分数）

环境影响

碳排放估算：

• 硬件： A100 PCIe 40GB
• 用时： 150,000小时
• 云服务： AWS美东区域
• 碳排放： 11,250 kg CO2当量

本模型卡由Robin Rombach和Patrick Esser编写，基于DALL-E Mini模型卡模板。