license: apache-2.0 language:

• en library_name: diffusers pipeline_tag: text-to-image

PhotoMaker V2 模型卡片

简介

用户只需输入一张或多张人脸照片及文字提示，即可在数秒内获得定制化的照片或绘画（无需训练！）。此外，该模型可适配任何基于SDXL的基模型，或与其他LoRA模块配合使用。

真实效果展示

风格化效果展示

更多效果请访问项目主页

模型详情

主要包含两个部分，对应加载状态字典中的两个键：

1. id_encoder 包含微调后的OpenCLIP-ViT-H-14和若干融合层。

2. lora_weights 应用于UNet中所有注意力层，秩设置为64。

使用方法

可直接在本仓库下载模型，也可通过Python脚本下载：

from huggingface_hub import hf_hub_download
photomaker_ckpt = hf_hub_download(repo_id="TencentARC/PhotoMaker-V2", filename="photomaker-v2.bin", repo_type="model")

具体使用说明请遵循GitHub仓库指南。

局限性

• 对亚洲男性面孔的定制效果有所下降。
• 在精确渲染人手方面仍存在困难。

偏差性

尽管图像生成模型能力惊人，但也可能强化或加剧社会偏见。

引用

BibTeX:

@inproceedings{li2023photomaker,
  title={PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding},
  author={Li, Zhen and Cao, Mingdeng and Wang, Xintao and Qi, Zhongang and Cheng, Ming-Ming and Shan, Ying},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}