Stable Diffusion V1 5

由 benjamin-paine 开发

Stable Diffusion是一种潜在文本到图像扩散模型，能够根据文本输入生成逼真图像。

图像生成开源协议:Openrail #文本生成图像 #潜在扩散模型 #艺术创作

下载量 32.63k

发布时间 : 8/30/2024

模型介绍

内容详情

替代品

模型简介

基于扩散的文本生成图像模型，采用潜在扩散模型架构，通过固定预训练文本编码器实现文本引导的图像生成与编辑。

模型特点

高质量图像生成

能够根据文本提示生成高分辨率（512x512）的逼真图像。

文本条件丢弃

采用10%文本条件丢弃技术，改进无分类器引导采样效果。

开放许可

采用CreativeML OpenRAIL-M许可证，允许商用和重新分发。

模型能力

文本生成图像

图像编辑

艺术创作

设计辅助

使用案例

艺术创作

概念艺术生成

根据文字描述快速生成概念艺术图像。

可生成多样化的艺术风格作品

教育研究

生成模型研究

用于研究生成模型的局限性和偏见。

许可证：creativeml-openrail-m
标签：

stable-diffusion
stable-diffusion-diffusers
text-to-image
推理：false
库名称：diffusers

额外许可提示：
获取此模型前还需完成一步。
本模型采用CreativeML OpenRAIL-M许可证开放访问，面向所有用户，进一步明确了权利与使用条款。
CreativeML OpenRAIL许可证规定：

禁止使用模型故意生成或传播非法、有害内容
CompVis对用户生成内容不主张任何权利，使用者可自由运用但须对合规性负责
允许商用或作为服务重新分发模型权重，但必须包含相同的使用限制条款并向所有用户提供CreativeML OpenRAIL-M许可证副本

点击下方"访问仓库"即表示同意您的联系信息（邮箱地址和用户名）可与模型作者共享。

额外许可确认字段：
□ 我已阅读并同意许可条款

重新上传声明

本仓库依据原始上传时所采用的CreativeML OpenRAIL-M许可证重新上传至HuggingFace，特别是第二章所授予的权利：

...授予永久性、全球性、非独占、免版税、不可撤销的版权许可，允许复制、公开展示、公开表演、分许可和分发补充材料、模型及其衍生作品。

请注意这些文件并非来自HuggingFace，而是源自ModelScope。因此原始仓库中的部分文件可能缺失。文件完整性已通过校验和验证。

Stable Diffusion v1-5 模型卡

Stable Diffusion是一种潜在文本到图像扩散模型，能够根据文本输入生成逼真图像。
工作原理详见🤗的Stable Diffusion博客。

Stable-Diffusion-v1-5检查点基于Stable-Diffusion-v1-2权重初始化，后在512x512分辨率的"laion-aesthetics v2 5+"数据集上进行了595k步微调，并采用10%文本条件丢弃以改进无分类器引导采样。

可通过🧨Diffusers库使用。

Diffusers使用示例

from diffusers import StableDiffusionPipeline  
import torch  

pipe = StableDiffusionPipeline.from_pretrained(  
    "benjamin-paine/stable-diffusion-v1-5",  
    torch_dtype=torch.float16  
)  
pipe = pipe.to("cuda")  

prompt = "火星上宇航员骑马的照片"  
image = pipe(prompt).images[0]  

image.save("astronaut_rides_horse.png")

更多JAX环境下的详细用法参见此处

模型详情

开发者： Robin Rombach, Patrick Esser
类型： 基于扩散的文本生成图像模型
语言： 英语
许可证： CreativeML OpenRAIL M许可证，改编自BigScience与RAIL Initiative合作制定的责任AI许可框架
描述： 该模型通过固定预训练文本编码器(CLIP ViT-L/14)实现文本引导的图像生成与编辑，采用潜在扩散模型架构
资源： GitHub仓库, 论文
引用格式：

@InProceedings{Rombach_2022_CVPR,  
    author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},  
    title     = {High-Resolution Image Synthesis With Latent Diffusion Models},  
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},  
    month     = {June},  
    year      = {2022},  
    pages     = {10684-10695}  
}