许可证: MIT 标签:

• 图像到图像

InstructPix2Pix: 学习遵循图像编辑指令

GitHub: https://github.com/timothybrooks/instruct-pix2pix

示例

要使用InstructPix2Pix，请暂时安装diffusers的main分支。该流程将在下一个版本中正式发布。

pip install diffusers accelerate safetensors transformers

import PIL
import requests
import torch
from diffusers import StableDiffusionInstructPix2PixPipeline, EulerAncestralDiscreteScheduler

模型ID = "timbrooks/instruct-pix2pix"
管道 = StableDiffusionInstructPix2PixPipeline.from_pretrained(模型ID, torch_dtype=torch.float16, safety_checker=None)
管道.to("cuda")
管道.调度器 = EulerAncestralDiscreteScheduler.from_config(管道.调度器.配置)

网址 = "https://raw.githubusercontent.com/timothybrooks/instruct-pix2pix/main/imgs/example.jpg"
def 下载图片(网址):
    图片 = PIL.Image.open(requests.get(网址, stream=True).raw)
    图片 = PIL.ImageOps.exif_transpose(图片)
    图片 = 图片.convert("RGB")
    return 图片
图片 = 下载图片(网址)

提示 = "把他变成赛博格"
生成图片 = 管道(提示, image=图片, num_inference_steps=10, image_guidance_scale=1).images
生成图片[0]