license: cc-by-nc-4.0 language:

• 英文 library_name: infinite-you pipeline_tag: 文生图 tags:
• 文生图
• FLUX.1-dev
• 图像生成
• 扩散变换器
• 主体个性化 base_model: black-forest-labs/FLUX.1-dev

InfiniteYou 模型卡片

         

本仓库提供以下论文的官方模型：

InfiniteYou：在保持身份的同时实现灵活照片重塑
蒋立明, 闫清, 贾玉敏, 刘子川, 康浩, 卢鑫
字节跳动智能创作团队

摘要： 实现灵活且高保真的身份保持图像生成仍具挑战性，尤其是对于FLUX等先进扩散变换器（DiT）。我们推出InfiniteYou（InfU）——最早利用DiT完成该任务的鲁棒框架之一。InfU解决了现有方法的三大痛点：身份相似度不足、图文对齐欠佳、生成质量和美学表现低下。其核心是InfuseNet组件，通过残差连接将身份特征注入DiT基础模型，在保持生成能力的同时增强身份相似性。采用包含预训练和合成单人多样本（SPMS）数据监督微调（SFT）的多阶段训练策略，进一步改善图文对齐、提升图像质量并缓解面部复制粘贴问题。大量实验表明，InfU实现了最先进的性能表现。此外，即插即用的设计使其兼容多种现有方法，为更广泛的社区提供了宝贵贡献。

🔧 安装与使用

请克隆我们的GitHub代码仓库并按照详细说明安装使用发布的模型进行本地推理。

感谢Hugging Face团队提供的GPU资源支持，您也可以通过InfiniteYou-FLUX在线演示直接体验。

💡 重要使用技巧

• 我们发布了InfiniteYou-FLUX v1.0的两个变体：aes_stage2（默认推荐，经SFT阶段二优化，图文对齐和美学更佳）和sim_stage1（阶段一模型，身份相似度更高）。

• 个性化调整推荐参数：--infusenet_conditioning_scale（默认1.0）和--infusenet_guidance_start（默认0.0）。建议优先尝试微调后者（如设为0.1），若效果仍不理想再调整前者（如设为0.9）。

• 额外提供两个可选LoRA：写实风格和抗模糊。建议优先尝试写实风格，二者均为可选组件，论文中未使用。

• 若需指定生成性别，可在提示词中加入明确描述（如"男性"、"女性"等）。我们鼓励使用包容性语言。

🏰 模型库

🆚 与前沿方法对比

InfU与FLUX.1-dev IP-Adapter、PuLID-FLUX等前沿基线的定性对比。IP-Adapter在身份相似度和图文对齐方面表现不足；PuLID-FLUX虽能保持身份特征，但存在图文错位（第1/2/4列）、质量缺陷（如第5列手部异常）和面部复制问题。相比之下，InfU在所有维度均展现出优越性能。

⚙️ 即插即用兼容性

InfU具有出色的兼容性设计：可无缝替换为FLUX.1-dev系列模型（如4步快速生成的FLUX.1-schnell）；支持ControlNet和LoRA实现精细化控制；与OminiControl结合可实现多概念个性化（如人物与物体的交互生成）；兼容IP-Adapter实现风格化输出。这种设计为社区拓展了更多可能性。

📜 免责声明与许可

本仓库及演示所用图像均获得授权或由模型生成，仅用于技术展示。如有异议请联系我们处理。

模型基于知识共享署名-非商业4.0国际许可发布，仅限学术研究。使用InsightFace人脸模型、FLUX.1-dev基础模型及相关LoRA时须遵守其原始许可。

本研究成果旨在推动生成式AI发展，使用者须确保符合当地法律法规。开发者不对潜在滥用行为承担责任。

📖 引用

若研究工作中使用了InfiniteYou，请引用我们的论文：

@article{jiang2025infiniteyou,
  title={{InfiniteYou}: Flexible Photo Recrafting While Preserving Your Identity},
  author={Jiang, Liming and Yan, Qing and Jia, Yumin and Liu, Zichuan and Kang, Hao and Lu, Xin},
  journal={arXiv preprint},
  volume={arXiv:2503.16418},
  year={2025}
}

欢迎为我们的GitHub仓库点亮星标⭐，感谢支持！