语言:

• 英文 许可证: creativeml-openrail-m 标签:
• 稳定扩散模型
• 稳定扩散-扩散器
• 文本生成图像
• 扩散器

基于https://huggingface.co/osunlp/InstructPix2Pix-MagicBrush的扩散器移植版本。 MagicBrush-epoch-52-step-4999.ckpt的扩散器实现

from PIL import Image, ImageOps
import requests
import torch
from diffusers import StableDiffusionInstructPix2PixPipeline, EulerAncestralDiscreteScheduler
from PIL import Image

url = "https://huggingface.co/datasets/diffusers/diffusers-images-docs/resolve/main/mountain.png"

def 下载图片(url):
    图片 = Image.open(requests.get(url, stream=True).raw)
    图片 = ImageOps.exif_transpose(图片)
    图片 = 图片.convert("RGB")
    return 图片

图片 = 下载图片(url)
提示词 = "把山脉变成雪景"

class 魔法画笔():
    def __init__(self, 权重="vinesmsuic/magicbrush-jul7"):
        self.管道 = StableDiffusionInstructPix2PixPipeline.from_pretrained(
                        权重, 
                        torch_dtype=torch.float16
                    ).to("cuda")
        self.管道.scheduler = EulerAncestralDiscreteScheduler.from_config(self.管道.scheduler.config)
        
    def 推理单张图片(self, 源图片, 指令提示, 随机种子):
        生成器 = torch.manual_seed(随机种子)
        输出图片 = self.管道(指令提示, image=源图片, num_inference_steps=20, image_guidance_scale=1.5, guidance_scale=7, generator=生成器).images[0]
        return 输出图片

模型 = 魔法画笔()
输出图像 = 模型.推理单张图片(图片, 提示词, 42)
输出图像

许可证

本模型采用CreativeML OpenRAIL-M许可证，面向所有人开放使用。 该许可证明确规定：

1. 禁止使用本模型故意生成或传播非法/有害内容
2. 作者对生成内容不主张任何权利，使用者可自由运用但需对使用行为负责
3. 允许商用及服务化部署，但必须包含相同的使用限制条款并向所有用户提供许可证副本 完整许可证请参阅此处