license: apache-2.0 base_model: runwayml/stable-diffusion-v1-5 tags:

• 艺术
• t2i-adapter
• controlnet
• stable-diffusion
• 图像生成

T2I适配器 - 语义分割版

T2I适配器是为稳定扩散模型提供额外条件控制的网络架构。每个T2I检查点接收不同类型的条件输入，并与特定的基础稳定扩散检查点配合使用。

本检查点专为稳定扩散1.4版本提供语义分割条件控制。

模型详情

• 开发团队: 《T2I-Adapter：通过适配器挖掘文本到图像扩散模型的深层可控能力》

• 模型类型: 基于扩散的文本到图像生成模型

• 支持语言: 英语

• 许可协议: Apache 2.0

• 更多资源: GitHub仓库, 论文

• 引用格式:

  @misc{ title={T2I-Adapter：通过适配器挖掘文本到图像扩散模型的深层可控能力}, author={牟冲, 王新涛, 谢良彬, 吴彦泽, 张健, 齐中阳, 单瀛, 邱晓虎}, year={2023}, eprint={2302.08453}, archivePrefix={arXiv}, primaryClass={cs.CV} }

检查点列表

模型名称	控制图像说明	控制图像示例	生成图像示例
TencentARC/t2iadapter_color_sd14v1 基于空间色板训练	含8x8色板的图像
TencentARC/t2iadapter_canny_sd14v1 基于Canny边缘检测训练	黑底白边的单色边缘图
TencentARC/t2iadapter_sketch_sd14v1 基于PidiNet边缘检测训练	黑底白线的手绘草图
TencentARC/t2iadapter_depth_sd14v1 基于Midas深度估计训练	灰度深度图（黑色代表深处）
TencentARC/t2iadapter_openpose_sd14v1 基于OpenPose骨骼图训练	OpenPose骨骼图像
TencentARC/t2iadapter_keypose_sd14v1 基于mmpose骨架图训练	mmpose骨架图像
TencentARC/t2iadapter_seg_sd14v1 基于语义分割训练	定制分割协议图像
TencentARC/t2iadapter_canny_sd15v2
TencentARC/t2iadapter_depth_sd15v2
TencentARC/t2iadapter_sketch_sd15v2
TencentARC/t2iadapter_zoedepth_sd15v1

使用示例

1. 安装依赖

pip install diffusers transformers

2. 运行代码:

import torch
from PIL import Image
import numpy as np
from transformers import AutoImageProcessor, UperNetForSemanticSegmentation

from diffusers import (
    T2IAdapter,
    StableDiffusionAdapterPipeline
)

# 此处保留原始代码中的ada_palette数组和完整执行流程
# 因篇幅限制，具体实现代码请参考原始文档