许可协议：Apache-2.0
基础模型：runwayml/stable-diffusion-v1-5
标签：

• 艺术
• T2I适配器
• ControlNet
• 稳定扩散
• 图像生成图像

T2I适配器 - 素描版

T2I适配器是一种为稳定扩散模型提供额外条件控制的网络。每个T2I检查点接收不同类型的条件输入，并与特定的基础稳定扩散检查点配合使用。

本检查点专为稳定扩散1.4版本提供素描条件控制功能。

模型详情

• 开发团队： T2I-Adapter: 通过适配器挖掘文本到图像扩散模型的更多可控能力

• 模型类型： 基于扩散的文本生成图像模型

• 支持语言： 英语

• 许可协议： Apache 2.0

• 更多资源： GitHub仓库 | 论文

• 引用格式：

  @misc{ title={T2I-Adapter: 通过适配器挖掘文本到图像扩散模型的更多可控能力}, author={牟冲, 王新涛, 谢良彬, 吴彦泽, 张健, 齐中阳, 单瀛, 邱晓虎}, year={2023}, eprint={2302.08453}, archivePrefix={arXiv}, primaryClass={cs.CV} }

检查点概览

模型名称	控制图像说明	控制图像示例	生成图像示例
TencentARC/t2iadapter_color_sd14v1 基于空间色板训练	含8x8色板的图像
TencentARC/t2iadapter_canny_sd14v1 基于Canny边缘检测训练	黑底白边的单色边缘图像
TencentARC/t2iadapter_sketch_sd14v1 基于PidiNet边缘检测训练	黑底白线的手绘素描
TencentARC/t2iadapter_depth_sd14v1 基于Midas深度估计训练	灰度深度图（黑色代表深处）
TencentARC/t2iadapter_openpose_sd14v1 基于OpenPose骨骼图训练	OpenPose骨骼图
TencentARC/t2iadapter_keypose_sd14v1 基于mmpose骨架图训练	mmpose骨架图
TencentARC/t2iadapter_seg_sd14v1 基于语义分割训练	自定义分割协议图
TencentARC/t2iadapter_canny_sd15v2
TencentARC/t2iadapter_depth_sd15v2
TencentARC/t2iadapter_sketch_sd15v2
TencentARC/t2iadapter_zoedepth_sd15v1

使用示例

1. 安装依赖

pip install diffusers transformers controlnet_aux  

2. 运行代码：

import torch  
from PIL import Image  
from controlnet_aux import PidiNetDetector  

from diffusers import (  
    T2IAdapter,  
    StableDiffusionAdapterPipeline  
)  

# 加载输入图像  
image = Image.open('./images/sketch_in.png')  

# 初始化素描处理器  
processor = PidiNetDetector.from_pretrained('lllyasviel/Annotators')  
sketch_image = processor(image)  
sketch_image.save('./images/sketch.png')  

# 加载适配器与管道  
adapter = T2IAdapter.from_pretrained("TencentARC/t2iadapter_zoedepth_sd15v1", torch_dtype=torch.float16)  
pipe = StableDiffusionAdapterPipeline.from_pretrained(  
    "CompVis/stable-diffusion-v1-4", adapter=adapter, safety_checker=None, torch_dtype=torch.float16, variant="fp16"  
)  
pipe.to('cuda')  

# 生成图像  
generator = torch.Generator().manual_seed(0)  
sketch_image_out = pipe(prompt="豪华卧室与精美床具", image=sketch_image, generator=generator).images[0]  
sketch_image_out.save('./images/sketch_image_out.png')