许可证：apache-2.0
基础模型：runwayml/stable-diffusion-v1-5
标签：

• 艺术
• t2i-adapter
• controlnet
• stable-diffusion
• 图像生成

T2I适配器 - 色彩版

T2I适配器是一种为稳定扩散模型提供额外条件控制的网络。每个T2I检查点接收不同类型的条件输入，并与特定的基础稳定扩散检查点配合使用。

本检查点专为稳定扩散1.4版本提供基于调色板的色彩控制功能。

模型详情

• 开发团队： T2I-Adapter: 通过适配器挖掘文本到图像扩散模型的更多可控能力

• 模型类型： 基于扩散的文本生成图像模型

• 支持语言： 英语

• 许可证： Apache 2.0

• 更多资源： GitHub仓库、论文

• 引用格式：

  @misc{
  title={T2I-Adapter: 通过适配器挖掘文本到图像扩散模型的更多可控能力},
  author={牟冲, 王鑫涛, 谢良彬, 吴彦泽, 张健, 齐中阳, 单瀛, 邱晓虎},
  year={2023},
  eprint={2302.08453},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
  }

检查点列表

模型名称	控制图像说明	控制图像示例	生成图像示例
TencentARC/t2iadapter_color_sd14v1 基于空间调色板训练	含8x8调色板的图像
TencentARC/t2iadapter_canny_sd14v1 基于Canny边缘检测训练	黑底白边的单色边缘图像
TencentARC/t2iadapter_sketch_sd14v1 基于PidiNet边缘检测训练	黑底白线的手绘草图
TencentARC/t2iadapter_depth_sd14v1 基于Midas深度估计训练	灰度深度图（黑色为深处，白色为浅处）
TencentARC/t2iadapter_openpose_sd14v1 基于OpenPose骨骼图训练	OpenPose骨骼图
TencentARC/t2iadapter_keypose_sd14v1 基于mmpose骨架图训练	mmpose骨架图
TencentARC/t2iadapter_seg_sd14v1 基于语义分割训练	自定义分割协议图像
TencentARC/t2iadapter_canny_sd15v2
TencentARC/t2iadapter_depth_sd15v2
TencentARC/t2iadapter_sketch_sd15v2
TencentARC/t2iadapter_zoedepth_sd15v1

使用示例

1. 安装依赖

pip install diffusers transformers  

2. 运行代码：

from PIL import Image  
import torch  
from diffusers import StableDiffusionAdapterPipeline, T2IAdapter  

# 加载参考图像  
image = Image.open('./images/color_ref.png')  

# 生成8x8调色板并放大  
color_palette = image.resize((8, 8))  
color_palette = color_palette.resize((512, 512), resample=Image.Resampling.NEAREST)  
color_palette.save('./images/color_palette.png')  

# 加载适配器和管道  
adapter = T2IAdapter.from_pretrained("TencentARC/t2iadapter_color_sd14v1", torch_dtype=torch.float16)  
pipe = StableDiffusionAdapterPipeline.from_pretrained(  
    "CompVis/stable-diffusion-v1-4",  
    adapter=adapter,  
    torch_dtype=torch.float16,  
)  
pipe.to("cuda")  

# 生成图像  
generator = torch.manual_seed(0)  
out_image = pipe(  
    "夜晚海滩前发光的立方体",  
    image=color_palette,  
    generator=generator,  
).images[0]  
out_image.save('./images/color_out_image.png')