许可证: MIT
语言:

• 中文
  指标:
• 角色
• 精确度
  库名称: diffusers
  流水线标签: 文本生成图像
  标签:
• 艺术

🌠 核心特点:

1. 生成具有极高身份保真度的肖像，同时不牺牲多样性和文本可控性。
2. 将面部解析和面部ID信息引入扩散模型。
3. 秒级快速定制，无需额外的LoRA训练。
4. 可作为适配器与社区中的其他基础模型及LoRA模块协同工作。

🔥 示例

🚩 待办事项

您的关注将加速项目进展。

• [x] 发布ConsistentID训练、评估代码及演示！
• [ ] 发布基于更多数据训练的SDXL模型，提升分辨率和泛化能力。
• [ ] 发布多ID输入版本以增强身份多样性。

🏷️ 摘要

本文是AIGC领域的一项工作，将面部解析信息与面部ID信息融入扩散模型。先前研究主要关注整体身份保持，尽管近期提出了如InstantID等细粒度身份保持模型，但面部ID特征的注入方式固定。为实现更灵活的面部特征细粒度身份一致性维护，我们重构了包含50000个样本的多模态细粒度ID数据集，用于训练提出的FacialEncoder模型，支持个性化照片、性别/年龄变换、身份混淆等常见功能。

同时，我们定义了统一的细粒度身份保持评测基准FGIS，涵盖多种常见面部个性化角色场景，并构建了细粒度ID保持模型基线。

最终，本文通过大量实验验证ConsistentID在面部个性化任务中达到SOTA效果，证明其能通过选择更细粒度的提示提升ID一致性甚至修改面部特征，为未来细粒度面部个性化研究开辟方向。

🔧 环境要求

• Python >= 3.8（推荐使用Anaconda或Miniconda）
• PyTorch >= 2.0.0
• cuda==11.8

conda create --name ConsistentID python=3.8.10  
conda activate ConsistentID  
pip install -U pip  

# 安装依赖  
pip install -r requirements.txt  

📦️ 数据准备

按以下结构准备数据：

├── data  
|   ├── JSON_all.json  
|   ├── resize_IMG # 图像  
|   ├── all_faceID  # 面部ID  
|   └── parsing_mask_IMG # 解析掩码  

.json文件格式示例：

[  
    {  
        "IMG": "图像路径...",  
        "parsing_mask_IMG": "...",  
        "vqa_llva": "...",  
        "id_embed_file_resize": "...",  
        "vqa_llva_facial": "..."  
    },  
    ...  
]  

🚀 训练

确保工作目录为项目根目录。

bash train_bash.sh  

🧪 推理

确保工作目录为项目根目录。

python infer.py  

⏬ 模型权重

模型权重托管于huggingface以实现更快速稳定的演示体验，敬请关注～

预训练模型参数现可通过Google Drive或百度网盘下载。

致谢

• 灵感源自多项优秀成果，包括IPAdapter、FastComposer、PhotoMaker。
• 感谢以下开源项目：face-parsing.PyTorch、LLaVA、insightface、FFHQ、CelebA、SFHQ。
• 🤗 感谢huggingface gradio团队ZeroGPUs提供的免费GPU支持！

免责声明

本项目致力于推动AI图像生成领域的积极发展。用户可自由使用本工具创作图像，但需遵守当地法律并合理使用。开发者不对用户可能的滥用行为负责。

引用

若此代码对您有帮助，请考虑引用：

@article{huang2024consistentid,  
  title={ConsistentID: Portrait Generation with Multimodal Fine-Grained Identity Preserving},  
  author={Huang, Jiehui and Dong, Xiao and Song, Wenhui and Li, Hanhui and Zhou, Jun and Cheng, Yuhao and Liao, Shutao and Chen, Long and Yan, Yiqiang and Liao, Shengcai and others},  
  journal={arXiv preprint arXiv:2404.16771},  
  year={2024}  
}