S
SDXL EcomID
由 alimama-creative 开发
EcomID是一个基于SDXL的文本到图像生成模型,专注于通过单张参考图像实现ID定制化生成,保持语义一致性和面部关键点控制。
下载量 1,300
发布时间 : 10/22/2024
模型介绍
内容详情
替代品
模型简介
EcomID结合了PuLID和InstantID的优势,通过ID编码器、交叉注意力组件和IdentityNet架构,实现了更好的背景一致性、面部关键点控制以及更真实的面部表现和相似度提升。
模型特点
ID定制化生成
通过单张参考ID图像生成定制化图像,确保语义一致性。
面部关键点控制
利用IdentityNet架构增强关键点控制,提高ID一致性和面部真实感。
背景一致性
结合PuLID的IP-Adapter,减少ID嵌入对文本嵌入的干扰,保留背景生成能力。
真实感提升
通过200万张美学肖像图像数据集训练,生成更真实和美观的肖像。
模型能力
文本到图像生成
ID定制化
面部关键点控制
背景一致性生成
高真实感肖像生成
使用案例
电子商务
商品模特定制
为商品生成定制化的模特图像,展示不同服装或配饰效果。
生成具有一致面部特征的模特图像,提升商品展示效果。
广告设计
广告人物定制
为广告生成特定人物的定制化图像,增强品牌识别度。
生成具有高真实感和一致性的广告人物图像。
娱乐媒体
角色形象生成
为影视或游戏生成定制化的角色形象。
生成具有一致面部特征和多样风格的角色图像。
许可证:apache-2.0 语言:
- 英文
- 中文 基础模型:stabilityai/stable-diffusion-xl-base-1.0 库名称:diffusers 标签:
- 文本到图像
- SDXL
- 稳定扩散
- ID定制 管道标签:text-to-image


EcomID旨在通过单张参考ID图像生成定制化图像,确保在关键点控制下保持强烈的语义一致性。
本仓库提供了EcomID方法和模型,结合了PuLID和InstantID的优势,以实现更好的背景一致性、面部关键点控制以及更真实的面部表现和相似度提升。
EcomID概述
EcomID结构

- PuLID的IP-Adapter:EcomID集成了PuLID的ID编码器和交叉注意力组件,并通过对齐损失进行训练。这种方法有效减少了ID嵌入对交叉注意力部分中文本嵌入的干扰,最小化了对基础模型文本到图像能力的破坏。
- InstantID的IdentityNet架构:利用200万张美学肖像图像数据集,IdentityNet增强了关键点控制,提高了ID一致性和面部真实感。在训练过程中,IP-adapter被冻结,仅训练IdentityNet。面部关键点作为条件输入,而面部嵌入则通过交叉注意力整合到IdentityNet中。