许可证：Apache-2.0
基础模型：runwayml/stable-diffusion-v1-5
标签：

• 艺术
• t2i-adapter
• controlnet
• stable-diffusion
• 图像生成

T2I适配器 - 草图版

T2I适配器是一种为稳定扩散模型提供额外条件控制的网络架构。每个T2I检查点接收不同类型的条件输入，并与特定的基础稳定扩散检查点配合使用。

本检查点专为稳定扩散1.5版本提供草图条件控制功能。

模型详情

• 开发团队： T2I-Adapter: 通过适配器挖掘文本到图像扩散模型的更多可控能力

• 模型类型： 基于扩散的文本生成图像模型

• 支持语言： 英语

• 许可证： Apache 2.0

• 资源链接： GitHub仓库 | 论文

• 引用格式：

  @misc{ title={T2I-Adapter: 通过适配器挖掘文本到图像扩散模型的更多可控能力}, author={牟冲, 王鑫涛, 谢良彬, 吴彦泽, 张健, 齐中阳, 单瀛, 邱晓虎}, year={2023}, eprint={2302.08453}, archivePrefix={arXiv}, primaryClass={cs.CV} }

检查点列表

模型名称	控制图像说明	控制图示例	生成图示例
TencentARC/t2iadapter_color_sd14v1 基于空间色板训练	含8x8色板的图像
TencentARC/t2iadapter_canny_sd14v1 基于Canny边缘检测训练	黑底白边的单色边缘图
TencentARC/t2iadapter_sketch_sd14v1 基于PidiNet边缘检测训练	手绘黑白线稿
TencentARC/t2iadapter_depth_sd14v1 基于Midas深度估计训练	灰度深度图（黑色代表深处）
TencentARC/t2iadapter_openpose_sd14v1 基于OpenPose骨骼图训练	OpenPose骨骼图
TencentARC/t2iadapter_keypose_sd14v1 基于mmpose骨架图训练	mmpose骨架图
TencentARC/t2iadapter_seg_sd14v1 基于语义分割训练	自定义分割图
TencentARC/t2iadapter_canny_sd15v2
TencentARC/t2iadapter_depth_sd15v2
TencentARC/t2iadapter_sketch_sd15v2
TencentARC/t2iadapter_zoedepth_sd15v1

使用示例

1. 安装依赖

pip install diffusers transformers controlnet_aux  

2. 运行代码：

import torch  
from PIL import Image  
from controlnet_aux import PidiNetDetector  

from diffusers import (  
    T2IAdapter,  
    StableDiffusionAdapterPipeline  
)  

# 加载输入图像  
image = Image.open('./images/sketch_in.png')  

# 初始化草图处理器  
processor = PidiNetDetector.from_pretrained('lllyasviel/Annotators')  

# 生成草图  
sketch_image = processor(image)  
sketch_image.save('./images/sketch.png')  

# 加载适配器和管道  
adapter = T2IAdapter.from_pretrained("TencentARC/t2iadapter_zoedepth_sd15v1", torch_dtype=torch.float16)  
pipe = StableDiffusionAdapterPipeline.from_pretrained(  
    "runwayml/stable-diffusion-v1-5",  
    adapter=adapter,  
    safety_checker=None,  
    torch_dtype=torch.float16,  
    variant="fp16"  
)  

# 运行生成  
pipe.to('cuda')  
generator = torch.Generator().manual_seed(0)  
sketch_image_out = pipe(  
    prompt="豪华卧室配帝王床",  
    image=sketch_image,  
    generator=generator  
).images[0]  

# 保存结果  
sketch_image_out.save('./images/sketch_image_out.png')