许可证：Apache-2.0
语言：

• 英文
  库名称：diffusers
  管道标签：文本生成图像

简介 📖

本仓库名为 CSGO，包含了我们论文《CSGO: 文本生成图像中的内容-风格组合》的官方 PyTorch 实现。我们正在积极更新和改进此仓库。如果您发现任何问题或有建议，欢迎提出问题或提交拉取请求（PR）💖。

详情 ✨

我们目前发布了两组模型权重。

流程 💻

功能 🚅

🔥 我们的 CSGO 实现了 图像驱动的风格迁移、文本驱动的风格化合成和文本编辑驱动的风格化合成。

🔥 更多结果请访问我们的 主页 🔥

快速开始 🏁

1. 克隆代码并准备环境

git clone https://github.com/instantX-research/CSGO  
cd CSGO  

# 使用 conda 创建环境  
conda create -n CSGO python=3.9  
conda activate CSGO  

# 使用 pip 安装依赖  
# 适用于 Linux 和 Windows 用户  
pip install -r requirements.txt  

2. 下载预训练权重（即将推出）

从 HuggingFace 下载预训练权重最简单的方式：

# 首先确保已安装 git-lfs，参见：https://docs.github.com/en/repositories/working-with-files/managing-large-files/installing-git-large-file-storage  
git lfs install  
# 克隆并移动权重  
git clone https://huggingface.co/InstantX/CSGO  

我们的方法完全兼容 SDXL、VAE、ControlNet 和 图像编码器。
请下载它们并放置在 ./base_models 文件夹中。

提示：如果您希望像 CSGO 中那样直接使用 ControlNetPipeline 加载 Controlnet，请执行以下操作：

git clone https://huggingface.co/TTPlanet/TTPLanet_SDXL_Controlnet_Tile_Realistic  
mv TTPLanet_SDXL_Controlnet_Tile_Realistic/TTPLANET_Controlnet_Tile_realistic_v2_fp16.safetensors TTPLanet_SDXL_Controlnet_Tile_Realistic/diffusion_pytorch_model.safetensors  

3. 推理 🚀

import torch  
from ip_adapter.utils import resize_content  
import numpy as np  
from ip_adapter.utils import BLOCKS as BLOCKS  
from ip_adapter.utils import controlnet_BLOCKS as controlnet_BLOCKS  
from PIL import Image  
from diffusers import (  
    AutoencoderKL,  
    ControlNetModel,  
    StableDiffusionXLControlNetPipeline,  
)  
from ip_adapter import CSGO  

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")  

base_model_path = "./base_models/stable-diffusion-xl-base-1.0"  
image_encoder_path = "./base_models/IP-Adapter/sdxl_models/image_encoder"  
csgo_ckpt = "./CSGO/csgo.bin"  
pretrained_vae_name_or_path = './base_models/sdxl-vae-fp16-fix'  
controlnet_path = "./base_models/TTPLanet_SDXL_Controlnet_Tile_Realistic"  
weight_dtype = torch.float16  

vae = AutoencoderKL.from_pretrained(pretrained_vae_name_or_path, torch_dtype=torch.float16)  
controlnet = ControlNetModel.from_pretrained(controlnet_path, torch_dtype=torch.float16, use_safetensors=True)  
pipe = StableDiffusionXLControlNetPipeline.from_pretrained(  
    base_model_path,  
    controlnet=controlnet,  
    torch_dtype=torch.float16,  
    add_watermarker=False,  
    vae=vae  
)  
pipe.enable_vae_tiling()  

target_content_blocks = BLOCKS['content']  
target_style_blocks = BLOCKS['style']  
controlnet_target_content_blocks = controlnet_BLOCKS['content']  
controlnet_target_style_blocks = controlnet_BLOCKS['style']  

csgo = CSGO(pipe, image_encoder_path, csgo_ckpt, device, num_content_tokens=4, num_style_tokens=32,  
            target_content_blocks=target_content_blocks, target_style_blocks=target_style_blocks, controlnet_adapter=True,  
            controlnet_target_content_blocks=controlnet_target_content_blocks,  
            controlnet_target_style_blocks=controlnet_target_style_blocks,  
            content_model_resampler=True,  
            style_model_resampler=True,  
            )  

style_name = 'img_1.png'  
content_name = 'img_0.png'  
style_image = Image.open("../assets/{}".format(style_name)).convert('RGB')  
content_image = Image.open('../assets/{}'.format(content_name)).convert('RGB')  

caption = 'a small house with a sheep statue on top of it'  

num_sample = 4  

# 图像驱动的风格迁移  
images = csgo.generate(pil_content_image=content_image, pil_style_image=style_image,  
                       prompt=caption,  
                       negative_prompt="text, watermark, lowres, low quality, worst quality, deformed, glitch, low contrast, noisy, saturation, blurry",  
                       content_scale=1.0,  
                       style_scale=1.0,  
                       guidance_scale=10,  
                       num_images_per_prompt=num_sample,  
                       num_samples=1,  
                       num_inference_steps=50,  
                       seed=42,  
                       image=content_image.convert('RGB'),  
                       controlnet_conditioning_scale=0.6,  
                       )  

# 文本编辑驱动的风格化合成  
caption = 'a small house'  
images = csgo.generate(pil_content_image=content_image, pil_style_image=style_image,  
                       prompt=caption,  
                       negative_prompt="text, watermark, lowres, low quality, worst quality, deformed, glitch, low contrast, noisy, saturation, blurry",  
                       content_scale=1.0,  
                       style_scale=1.0,  
                       guidance_scale=10,  
                       num_images_per_prompt=num_sample,  
                       num_samples=1,  
                       num_inference_steps=50,  
                       seed=42,  
                       image=content_image.convert('RGB'),  
                       controlnet_conditioning_scale=0.4,  
                       )  

# 文本驱动的风格化合成  
caption = 'a cat'  
# 如果内容图像仍然干扰生成结果，将内容图像设置为空图像。  
# content_image = Image.fromarray(np.zeros((content_image.size[0], content_image.size[1], 3), dtype=np.uint8)).convert('RGB')  

images = csgo.generate(pil_content_image=content_image, pil_style_image=style_image,  
                       prompt=caption,  
                       negative_prompt="text, watermark, lowres, low quality, worst quality, deformed, glitch, low contrast, noisy, saturation, blurry",  
                       content_scale=1.0,  
                       style_scale=1.0,  
                       guidance_scale=10,  
                       num_images_per_prompt=num_sample,  
                       num_samples=1,  
                       num_inference_steps=50,  
                       seed=42,  
                       image=content_image.convert('RGB'),  
                       controlnet_conditioning_scale=0.01,  
                       )  

演示

🔥 更多结果请访问我们的 主页 🔥

内容-风格组合

循环转换

文本驱动的风格合成

文本编辑驱动的风格合成

Star 历史

致谢

本项目由 InstantX 团队开发，保留所有版权。

引用 💖

如果您发现 CSGO 对您的研究有帮助，欢迎 🌟 此仓库并引用我们的工作：

@article{xing2024csgo,  
       title={CSGO: 文本生成图像中的内容-风格组合},  
       author={彭星 and 王浩帆 and 孙彦鹏 and 王启勋 and 柏旭 and 艾浩 and 黄仁远 and 李泽超},  
       year={2024},  
       journal = {arXiv 2408.16766},  
}