---

许可协议: apache-2.0
支持语言:

• 中文
• 英语
  标签:
• 文本生成图像
• 稳定扩散模型
• 快手Kolors

📖 模型介绍

我们开源了基于Kolors基础模型初始化的Kolors-Inpainting推理代码与权重。下图展示了图像修复效果示例：

技术细节

• 修复模型在UNet中新增了5个输入通道（4个用于编码掩膜图像，1个用于掩膜本身）。其中掩膜图像通道权重继承自原始模型，掩膜通道采用零初始化
• 为提升修复鲁棒性，我们采用多样化掩膜生成策略，包括随机掩膜、主体分割掩膜、矩形掩膜以及基于膨胀操作的掩膜

📊 效果评估

我们构建了包含200组掩膜图像与文本提示词的测试集，邀请多位图像专家对不同模型的生成结果进行盲评。专家从视觉美感、文本契合度、修复痕迹、综合满意度四个维度进行评分，其中修复痕迹衡量修复结果的感知边界，其余标准与基础模型评估保持一致。具体结果如下表所示，Kolors-Inpainting在综合满意度维度获得最高分。

模型	综合满意度	修复痕迹	视觉美感	文本契合度
SDXL-Inpainting	2.573	1.205	3.000	4.299
Kolors-Inpainting	3.493	0.204	3.855	4.346

注：综合满意度、视觉美感、文本契合度分数越高越好，修复痕迹分数越低越好

SDXL-Inpainting与Kolors-Inpainting效果对比如下：

Kolors-Inpainting采用中文提示词，SDXL-Inpainting使用英文提示词

🛠️ 使用指南

环境要求

依赖安装与Kolors基础模型保持一致

1. 克隆仓库并安装依赖

apt-get install git-lfs  
git clone https://github.com/Kwai-Kolors/Kolors  
cd Kolors  
conda create --name kolors python=3.8  
conda activate kolors  
pip install -r requirements.txt  
python3 setup.py install  

2. 权重下载链接：

huggingface-cli download --resume-download Kwai-Kolors/Kolors-Inpainting --local-dir weights/Kolors-Inpainting  

3. 推理示例：

python3 inpainting/sample_inpainting.py ./inpainting/asset/3.png ./inpainting/asset/3_mask.png "穿着美少女战士的衣服，一件类似于水手服风格的衣服，包括一个白色紧身上衣，前胸搭配一个大大的红色蝴蝶结。衣服的领子部分呈蓝色，并且有白色条纹。她还穿着一条蓝色百褶裙，超高清，辛烷渲染，高级质感，32k，高分辨率，最好的质量，超级细节，景深"  

python3 inpainting/sample_inpainting.py ./inpainting/asset/4.png ./inpainting/asset/4_mask.png "穿着钢铁侠的衣服，高科技盔甲，主要颜色为红色和金色，并且有一些银色装饰。胸前有一个亮起的圆形反应堆装置，充满了未来科技感。超清晰，高质量，超逼真，高分辨率，最好的质量，超级细节，景深"  

# 生成结果将保存至"scripts/outputs/"目录