许可协议: creativeml-openrail-m
标签:

• 稳定扩散

• 稳定扩散扩散器

• 文本生成图像
  推理: 是
  额外授权提示: |-
  本模型采用CreativeML OpenRAIL-M许可证开放访问，所有用户均可使用。该许可证明确规定:

  1. 禁止使用本模型故意生成或传播非法及有害内容
  2. CompVis对用户生成内容不主张任何权利，使用者需自行负责内容合规性
  3. 允许商用及服务化使用，但须包含相同使用限制条款并向所有用户提供许可证副本
     完整许可证请查阅: https://huggingface.co/spaces/CompVis/stable-diffusion-license

额外授权标题: 请阅读许可证以访问本模型

稳定扩散v1-5模型卡

稳定扩散是一种潜在文本到图像扩散模型，能够根据文本输入生成逼真图像。更多技术细节请参阅🤗稳定扩散博客。

Stable-Diffusion-v1-5检查点基于v1-2版本权重初始化，后在"laion-aesthetics v2 5+"数据集上进行了512x512分辨率595k步微调，并采用10%文本条件丢弃以优化分类器自由引导采样。

可通过🧨Diffusers库或RunwayML代码库使用。

Diffusers示例

from diffusers import StableDiffusionPipeline  
import torch  

model_id = "runwayml/stable-diffusion-v1-5"  
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)  
pipe = pipe.to("cuda")  

prompt = "火星上宇航员骑马的照片"  
image = pipe(prompt).images[0]  

image.save("astronaut_rides_horse.png")  

更多JAX用例详见使用说明

原始代码库

1. 下载权重文件
   • v1-5-pruned-emaonly.ckpt - 4.27GB，仅含EMA权重，适合推理
   • v1-5-pruned.ckpt - 7.7GB，含EMA与非EMA权重，适合微调
2. 按照说明文档操作

模型详情

• 开发者: Robin Rombach, Patrick Esser
• 类型: 基于扩散的文本生成图像模型
• 语言: 英语
• 许可证: CreativeML OpenRAIL M许可证，源自RAIL倡议与BigScience的合作成果
• 描述: 采用潜在扩散模型架构，固定文本编码器为CLIP ViT-L/14
• 资源: GitHub仓库, 论文
• 引用格式:

  @InProceedings{Rombach_2022_CVPR,...}  
  

用途

直接用途

研究领域包括:

• 生成模型的安全部署
• 探索生成模型的局限性与偏见
• 艺术创作与设计应用
• 教育/创意工具开发

禁用场景

• 制造敌对性内容
• 生成虚假历史/事件表述
• 制作贬低性内容
• 未经许可的肖像生成
• 暴力/色情内容生成
• 侵犯版权内容

局限性与偏见

• 无法实现完美逼真度
• 文本渲染能力有限
• 复杂构图表现欠佳
• 主要支持英语提示词
• 训练数据包含成人内容(LAION-5B)
• 存在西方文化偏见

安全模块

建议配合Diffusers的安全检查器使用，通过CLIP文本模型嵌入空间检测NSFW内容。

训练

数据: LAION-2B(en)及其子集
配置:

• 硬件: 256块A100 GPU
• 优化器: AdamW
• 批次: 2048
• 学习率: 0.0001(10000步预热)

环境影响

碳排放估算:

• 硬件: A100 PCIe 40GB
• 计算时数: 150,000小时
• 碳排放: 11250 kg CO2当量

本模型卡由Robin Rombach和Patrick Esser编写，参考DALL-E Mini模型卡格式。