许可证：apache-2.0
基础模型：runwayml/stable-diffusion-v1-5
标签：

• 艺术
• t2i-adapter
• controlnet
• stable-diffusion
• 图像生成

T2I适配器 - 深度版

T2I适配器是一种为稳定扩散模型提供额外条件控制的网络。每个T2I检查点接收不同类型的条件输入，并与特定的基础稳定扩散检查点配合使用。

本检查点专为稳定扩散1.5版本提供深度条件控制。

模型详情

• 开发团队： T2I-Adapter: 通过适配器挖掘文本到图像扩散模型的更多可控能力

• 模型类型： 基于扩散的文本到图像生成模型

• 支持语言： 英语

• 许可证： Apache 2.0

• 更多资源： GitHub仓库、论文

• 引用格式：

  @misc{
  title={T2I-Adapter: 通过适配器挖掘文本到图像扩散模型的更多可控能力},
  author={牟冲, 王鑫涛, 谢良彬, 吴彦泽, 张健, 齐中阳, 单瀛, 邱晓虎},
  year={2023},
  eprint={2302.08453},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
  }

检查点列表

模型名称	控制图像概述	控制图像示例	生成图像示例
TencentARC/t2iadapter_color_sd14v1 基于空间色板训练	含8x8色板的图像
TencentARC/t2iadapter_canny_sd14v1 基于Canny边缘检测训练	黑底白边的单色边缘图
TencentARC/t2iadapter_sketch_sd14v1 基于PidiNet边缘检测训练	手绘黑底白线轮廓图
TencentARC/t2iadapter_depth_sd14v1 基于Midas深度估计训练	灰度深度图（黑色代表深处）
TencentARC/t2iadapter_openpose_sd14v1 基于OpenPose骨骼图训练	OpenPose骨骼图
TencentARC/t2iadapter_keypose_sd14v1 基于mmpose骨架图训练	mmpose骨架图
TencentARC/t2iadapter_seg_sd14v1 基于语义分割训练	自定义分割图
TencentARC/t2iadapter_canny_sd15v2
TencentARC/t2iadapter_depth_sd15v2
TencentARC/t2iadapter_sketch_sd15v2
TencentARC/t2iadapter_zoedepth_sd15v1

使用示例

1. 安装依赖

pip install diffusers transformers controlnet_aux  

2. 运行代码：

from controlnet_aux import MidasDetector  
from PIL import Image  
from diffusers import T2IAdapter, StableDiffusionAdapterPipeline  
import torch  

# 初始化深度检测器  
midas = MidasDetector.from_pretrained("lllyasviel/Annotators")  

# 处理输入图像  
image = Image.open('./images/depth_input.png')  
image = midas(image)  
image.save('./images/depth.png')  

# 加载适配器和管道  
adapter = T2IAdapter.from_pretrained("TencentARC/t2iadapter_depth_sd15v2", torch_dtype=torch.float16)  
pipe = StableDiffusionAdapterPipeline.from_pretrained(  
    "runwayml/stable-diffusion-v1-5", adapter=adapter, safety_checker=None, torch_dtype=torch.float16, variant="fp16"  
)  
pipe.to('cuda')  

# 生成图像  
generator = torch.Generator().manual_seed(1)  
depth_out = pipe(prompt="发表演讲的冲锋队员", image=image, generator=generator).images[0]  
depth_out.save('./images/depth_output.png')