🚀 EcomID - 基于单张参考ID图像生成定制化图像

EcomID旨在从单张参考ID图像生成定制化图像，在关键点的控制下确保强大的语义一致性。本项目结合了 PuLID 和 InstantID 的优势，提供了更好的背景一致性、面部关键点控制以及更逼真的面部表现和更高的相似度。

中文版Readme

🚀 快速开始

项目概述

EcomID结合了PuLID和InstantID的优势，用于从单张参考ID图像生成定制化图像，能在关键点控制下保证语义一致性，同时提升背景一致性、面部关键点控制和面部表现的真实度与相似度。

展示案例

与其他方法的比较

1、保留文本到图像的生成能力

提示词	参考图像	EcomID	InstantID
女孩，白皮肤，黑头发，长波浪发，欧洲风格客厅，复古色调，有装饰，景深效果。

EcomID 在保留背景生成能力的同时，最大程度减少风格化，大大提高了真实感。可视化结果显示，生成的肖像更加真实，背景语义一致性更好，展示了EcomID在生成真实图像方面的优势。

2、改进的面部控制和一致性

提示词	参考图像	EcomID	InstantID	PuLID
一个男人站在图书馆的特写肖像，旁边抱着 两个微笑的小孩。

EcomID使用关键点作为训练的条件输入，允许精确调整面部的位置、大小和方向。这种能力确保生成的肖像更易于控制，同时进一步提高面部相似度和图像的整体质量。

更多展示案例

EcomID增强了肖像表现，在确保语义一致性和更高的内部ID相似度（即不受年龄、发型、眼镜或其他身体变化影响的特征）的同时，呈现出更真实、更美观的外观。

提示词	参考图像	EcomID	InstantID	PuLID
一个 双马尾小女孩 的特写肖像，穿着白色连衣裙，在日落时站在海滩上。
一个 非常小的女孩 的特写肖像，双马尾，戴着 帽子 穿着白色连衣裙，在日落时站在海滩上。
一位头发花白的侦探，软毡帽 在他的方下巴上投下阴影，嘴里叼着雪茄，他的风衣让人想起黑色电影，在 雨中的小巷 里。
一个 留着齐刘海和长发 的微笑女孩穿着校服站在樱花树下，手里拿着一本书。
一个 非常老的 女巫，穿着黑色披风，戴着尖顶帽子，拿着魔杖，背景是一片迷雾森林。
一个穿着赛博朋克风格服装的男人：霓虹灯装饰，反光太阳镜，以及带有发光电路图案的皮夹克。他面无表情地站在湿漉漉的城市景观中。

更多基础模型、分辨率和风格

SDXL模型	提示词	参考图像	EcomID	InstantID	PuLID
sd-xl-base-1.0	女孩，单人，棕色头发，手里拿着一只小熊，穿着校服，站在图书馆里，卡通风格。
EcomXL	一个 非常小的女孩 的特写肖像，双马尾，戴着 帽子 穿着白色连衣裙，在日落时站在海滩上。
DreamShaperXL	单人，直视镜头，微笑，棕色头发，上半身，敞开的衣服，露齿，敞开的夹克，黑色夹克，模糊背景，写实风格。
leosam_xl_v7	一个女孩的特写肖像，单人，连衣裙，珠宝，海滩和大海，粉色连衣裙，写实风格。

注意事项

• 除非另有说明，展示案例均使用基础模型EcomXL生成，该模型也与其他各种基于SDXL的模型高度兼容，如 leosams-helloworld-xl、dreamshaper-xl、stable-diffusion-xl-base-1.0 等。
• 它与SDXL Turbo/Lighting、EcomXL Inpainting ControlNet 和 EcomXL Softedge ControlNet 配合使用效果也非常好。

使用方法

ComfyUI

• EcomID_ComfyUI节点已发布：点击此处

训练细节

本模型在200万张淘宝图像上进行训练，其中人脸比例大于3%，图像分辨率大于800，美学评分高于5.5。

• 混合精度：fp16
• 学习率：1e - 4
• 批量大小：2
• 图像尺寸：1024x1024

✨ 主要特性

• 结合PuLID和InstantID的优势，实现更好的背景一致性、面部关键点控制和更逼真的面部表现。
• 从单张参考ID图像生成定制化图像，确保强大的语义一致性。
• 与多种SDXL模型兼容，且与SDXL Turbo/Lighting、EcomXL Inpainting ControlNet和EcomXL Softedge ControlNet配合良好。

📚 详细文档

EcomID结构

• PuLID的IP-Adapter：EcomID集成了PuLID的ID编码器和交叉注意力组件，并通过对齐损失进行训练。这种方法有效地减少了ID嵌入在交叉注意力部分对文本嵌入的干扰，最大限度地减少了对基础模型文本到图像生成能力的破坏。
• InstantID的IdentityNet架构：利用 200万张美观的人像图像数据集，IdentityNet增强了关键点控制，提高了ID一致性和面部真实感。在训练过程中，IP适配器被冻结，仅训练IdentityNet。面部地标用作条件输入，而面部嵌入通过交叉注意力集成到IdentityNet中。

🔧 技术细节

模型训练使用了200万张淘宝图像，这些图像具有特定的要求，包括人脸比例、分辨率和美学评分。训练采用了混合精度（fp16）、特定的学习率（1e - 4）、批量大小（2）和图像尺寸（1024x1024）。

📄 许可证

本项目采用Apache-2.0许可证。