许可证：apache-2.0
语言：

• 英文
  标签：
• Kolors
• 文生图
• 稳定扩散
  库名称：diffusers

Kolors-IP-Adapter-FaceID-Plus权重与推理代码

     

📖 简介

我们提供基于Kolors基础模型的Kolors-IP-Adapter-FaceID-Plus模块权重与推理代码。效果示例如下：

• 我们的Kolors-IP-Adapter-FaceID-Plus模块在大规模高质量人脸数据集上训练，采用insightface生成的面部ID嵌入和面部区域CLIP特征，有效保持面部ID与结构信息。

📊 评估

我们构建了包含200+参考图像与文本提示的测试集，邀请多位图像专家对不同模型生成结果进行多维度评分。专家从视觉吸引力、文本忠实度、面部相似度、面部美观度和整体满意度五个维度评估生成图像。其中视觉吸引力与文本忠实度用于衡量文生图能力（遵循基础模型评估标准），面部相似度与美观度则用于评估Kolors-IP-Adapter-FaceID-Plus模块性能。如下表所示，我们的模型在所有指标上均超越SDXL-IP-Adapter-FaceID-Plus。

注：Kolors-IP-Adapter-FaceID-Plus使用中文提示词，SDXL版本使用英文提示词

🛠️ 使用指南

环境要求

依赖项安装与Kolors基础模型要求一致。

1. 克隆仓库并安装依赖

apt-get install git-lfs
git clone https://github.com/Kwai-Kolors/Kolors
cd Kolors
conda create --name kolors python=3.8
conda activate kolors
pip install -r requirements.txt
pip install insightface onnxruntime-gpu
python3 setup.py install

2. 权重下载链接：

huggingface-cli download --resume-download Kwai-Kolors/Kolors-IP-Adapter-FaceID-Plus --local-dir weights/Kolors-IP-Adapter-FaceID-Plus

或

git lfs clone https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-FaceID-Plus weights/Kolors-IP-Adapter-FaceID-Plus

3. 运行推理：

python ipadapter_FaceID/sample_ipadapter_faceid_plus.py ./ipadapter_FaceID/assets/image1.png "穿着晚礼服，在星光下的晚宴场景中，烛光闪闪，整个场景洋溢着浪漫而奢华的氛围"

python ipadapter_FaceID/sample_ipadapter_faceid_plus.py ./ipadapter_FaceID/assets/image2.png "西部牛仔，牛仔帽，荒野大镖客，背景是西部小镇，仙人掌，,日落余晖, 暖色调, 使用XT4胶片拍摄, 噪点, 晕影, 柯达胶卷，复古"

致谢

• 感谢insightface提供的人脸表征技术
• 感谢IP-Adapter的代码基础