🚀 T2I Adapter - Openpose

T2I Adapter是一个为Stable Diffusion提供额外条件控制的网络。每个T2I检查点接收不同类型的条件作为输入，并与特定的基础Stable Diffusion检查点配合使用。此检查点为Stable Diffusion 1.4检查点提供Openpose条件控制。

🚀 快速开始

依赖安装

pip install diffusers transformers controlnet_aux

运行代码

from PIL import Image
from diffusers import T2IAdapter, StableDiffusionAdapterPipeline
import torch
from controlnet_aux import OpenposeDetector

openpose = OpenposeDetector.from_pretrained('lllyasviel/ControlNet')

image = Image.open('./images/openpose_input.png')

image = openpose(image)

image.save('./images/openpose.png')

adapter = T2IAdapter.from_pretrained("TencentARC/t2iadapter_openpose_sd14v1", torch_dtype=torch.float16)
pipe = StableDiffusionAdapterPipeline.from_pretrained(
    "CompVis/stable-diffusion-v1-4", adapter=adapter, safety_checker=None, torch_dtype=torch.float16, variant="fp16"
)

pipe.to('cuda')

generator = torch.Generator().manual_seed(1)

openpose_out = pipe(prompt="iron man flying", image=image, generator=generator).images[0]

openpose_out.save('./images/openpose_out.png')

示例图片

✨ 主要特性

T2I Adapter能够为Stable Diffusion提供额外的条件控制，不同的检查点可以接收不同类型的条件输入，从而实现多样化的图像生成控制。

📚 详细文档

模型详情

检查点

模型名称	控制图像概述	控制图像示例	生成图像示例
TencentARC/t2iadapter_color_sd14v1 使用空间调色板训练	一张带有8x8调色板的图像。
TencentARC/t2iadapter_canny_sd14v1 使用Canny边缘检测训练	一张黑色背景上带有白色边缘的单色图像。
TencentARC/t2iadapter_sketch_sd14v1 使用PidiNet边缘检测训练	一张黑色背景上带有白色轮廓的手绘单色图像。
TencentARC/t2iadapter_depth_sd14v1 使用Midas深度估计训练	一张灰度图像，黑色代表深区域，白色代表浅区域。
TencentARC/t2iadapter_openpose_sd14v1 使用OpenPose骨骼图像训练	一张OpenPose骨骼图像。
TencentARC/t2iadapter_keypose_sd14v1 使用mmpose骨架图像训练	一张mmpose骨架图像。
TencentARC/t2iadapter_seg_sd14v1 使用语义分割训练	一张自定义分割协议图像。
TencentARC/t2iadapter_canny_sd15v2
TencentARC/t2iadapter_depth_sd15v2
TencentARC/t2iadapter_sketch_sd15v2
TencentARC/t2iadapter_zoedepth_sd15v1

📄 许可证

本项目采用Apache 2.0许可证。