license: apache-2.0 language:

• en library_name: diffusers pipeline_tag: text-to-image

PhotoMaker 模型卡片

简介

用户只需输入一张或多张人脸照片及文字提示，即可在数秒内获得定制化的照片或绘画作品（无需训练！）。此外，该模型可适配任何基于SDXL的基础模型，或与其他LoRA模块配合使用。

写实效果展示

艺术风格效果

更多效果请访问项目主页

模型详情

主要包含两个核心组件（对应加载状态字典中的两个键值）：

1. id_encoder：包含微调后的OpenCLIP-ViT-H-14模型及若干融合层

2. lora_weights：作用于UNet中所有注意力层，秩(rank)设置为64

使用方式

您可以直接下载本仓库中的模型文件，或通过Python脚本下载：

from huggingface_hub import hf_hub_download
photomaker_ckpt = hf_hub_download(repo_id="TencentARC/PhotoMaker", filename="photomaker-v1.bin", repo_type="model")

具体使用指南请遵循GitHub仓库中的说明。

局限性

• 对亚洲男性面孔的定制效果有所下降
• 在人类手部细节的精确呈现上仍有不足

偏差风险

尽管图像生成模型能力卓越，但仍可能强化或加剧社会偏见。

引用文献

BibTeX格式：

@inproceedings{li2023photomaker,
  title={PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding},
  author={Li, Zhen and Cao, Mingdeng and Wang, Xintao and Qi, Zhongang and Cheng, Ming-Ming and Shan, Ying},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}