基础模型:

• timbrooks/instruct-pix2pix
• SherryXTChen/Instruct-CLIP
• SherryXTChen/LatentDiffusionDINOv2 数据集:
• SherryXTChen/InstructCLIP-InstructPix2Pix-Data 语言:
• 英文 库名称: diffusers 许可证: apache-2.0 标签:
• 稳定扩散
• 稳定扩散-扩散器
• 文本到图像
• 扩散器
• 扩散器训练
• 图像到图像 推理: 是 流水线标签: 图像到图像

InstructCLIP：通过对比学习自动数据优化改进指令引导的图像编辑

该模型基于论文Instruct-CLIP: 通过对比学习自动数据优化改进指令引导的图像编辑。 GitHub: https://github.com/SherryXTChen/Instruct-CLIP.git

示例

import PIL
import requests
import torch
from diffusers import StableDiffusionInstructPix2PixPipeline, EulerAncestralDiscreteScheduler

模型ID = "timbrooks/instruct-pix2pix"
管道 = StableDiffusionInstructPix2PixPipeline.from_pretrained(模型ID, torch_dtype=torch.float16)
管道.load_lora_weights("SherryXTChen/InstructCLIP-InstructPix2Pix")
管道.to("cuda")
管道.scheduler = EulerAncestralDiscreteScheduler.from_config(管道.scheduler.config)

网址 = "https://raw.githubusercontent.com/SherryXTChen/Instruct-CLIP/refs/heads/main/assets/1_input.jpg"
def 下载图像(网址):
    图像 = PIL.Image.open(requests.get(网址, stream=True).raw)
    图像 = PIL.ImageOps.exif_transpose(图像)
    图像 = 图像.convert("RGB")
    return 图像
图像 = 下载图像(网址)

提示 = "作为一个3D雕塑"
图像列表 = 管道(提示, image=图像, num_inference_steps=20).images
图像列表[0].save("output.jpg")