许可协议：Apache-2.0
基础模型：runwayml/stable-diffusion-v1-5
标签：

• 艺术
• t2i-adapter
• controlnet
• stable-diffusion
• 图像生成

T2I适配器 - Canny边缘检测版

T2I适配器是一种为稳定扩散模型提供额外条件控制的网络架构。每个T2I检查点接收不同类型的条件输入，并与特定的基础稳定扩散检查点配合使用。

本检查点专为稳定扩散1.5版本设计，通过Canny边缘图实现条件控制。

模型详情

• 开发团队： T2I-Adapter: 通过适配器挖掘文本到图像扩散模型的深层可控能力

• 模型类型： 基于扩散的文本生成图像模型

• 支持语言： 英语

• 许可协议： Apache 2.0

• 资源链接： GitHub仓库、论文

• 引用格式：

  @misc{ title={T2I-Adapter: 通过适配器挖掘文本到图像扩散模型的深层可控能力}, author={牟冲, 王新涛, 谢良彬, 吴彦泽, 张健, 齐中阳, 单瀛, 邱晓虎}, year={2023}, eprint={2302.08453}, archivePrefix={arXiv}, primaryClass={cs.CV} }

检查点概览

模型名称	控制图像说明	控制图示例	生成图示例
颜色控制版 基于8x8空间色板训练	含8x8色板的图像
Canny边缘版 基于Canny边缘检测训练	黑底白边的单色边缘图
素描控制版 基于PidiNet边缘检测训练	黑底白线的手绘轮廓图
深度图版 基于Midas深度估计训练	灰度深度图（黑色代表深处）
骨骼姿态版 基于OpenPose骨骼图训练	OpenPose骨骼图像
关键点版 基于mmpose骨架图训练	mmpose骨架图像
语义分割版 基于定制分割协议训练	定制分割图
SD1.5-Canny版
SD1.5-深度版
SD1.5-素描版
Zoe深度版

使用示例

1. 安装依赖

pip install diffusers transformers opencv-contrib-python  

2. 运行代码：

import cv2  
from PIL import Image  
import torch  
import numpy as np  
from diffusers import T2IAdapter, StableDiffusionAdapterPipeline  

# 边缘检测处理  
input_image = Image.open('./images/canny_input.png')  
edges = cv2.Canny(np.array(input_image), 100, 200)  
edge_image = Image.fromarray(edges).save('./images/canny.png')  

# 加载适配器与管道  
adapter = T2IAdapter.from_pretrained("TencentARC/t2iadapter_canny_sd15v2", torch_dtype=torch.float16)  
pipe = StableDiffusionAdapterPipeline.from_pretrained(  
    "runwayml/stable-diffusion-v1-5",  
    adapter=adapter,  
    torch_dtype=torch.float16  
).to("cuda")  

# 生成图像  
output = pipe(  
    prompt="戴眼镜的兔子",  
    image=edge_image,  
    generator=torch.manual_seed(0)  
output.images[0].save('./images/canny_out.png')