In Context LoRA

🚀 上下文LoRA（In-Context LoRA）

上下文LoRA（In-Context LoRA）能够微调文生图模型，生成具有可定制内在关系的图像集，适用于多种任务。它为图像生成领域带来了更灵活、可控的解决方案。

🚀 快速开始

📢 [项目页面] [GitHub仓库] [论文]

🔥 最新消息

• [2024-11-16] 🌟 社区持续利用IC-LoRA进行创新！令人兴奋的项目包括用于虚拟试穿、产品设计、物体移除、角色扮演等的模型、ComfyUI节点和工作流。在**使用IC-LoRA的社区创作** 中探索他们的作品。非常感谢所有贡献者的杰出努力！

✨ 主要特性

模型概述

上下文LoRA（In-Context LoRA）对文生图模型（例如FLUX）进行微调，以生成具有可定制内在关系的图像集，还可以选择使用SDEdit以另一组图像为条件进行生成。它可以适应广泛的任务。

这个模型中心包含了涵盖10个任务的上下文LoRA模型。模型库详细介绍了这些模型及其推荐设置。有关这些模型的训练详情，请参考我们的论文。

核心思想

IC-LoRA的核心概念是将条件图像和目标图像拼接成一个复合图像，同时使用自然语言来定义任务。这种方法能够无缝适应广泛的应用场景。

特性

• 与任务无关的框架：IC-LoRA是一个通用框架，但对于不同的应用，需要进行特定任务的微调。
• 可定制的图像集生成：可以微调文生图模型，以生成具有可定制内在关系的图像集。
• 以图像集为条件：还可以以另一组图像为条件生成一组图像，从而实现广泛的可控生成应用。

如需更多详细信息和示例，请阅读我们的论文或访问我们的项目页面。

📚 详细文档

模型库

以下列出了10个上下文LoRA模型及其推荐设置。

使用上下文LoRA的社区创作

我们很高兴展示社区利用上下文LoRA（IC-LoRA）开展的创新项目。如果您有其他推荐或项目要分享，请随时发送拉取请求!

我们衷心感谢所有贡献者为推动IC-LoRA生态系统所做的杰出工作。

📄 许可证

这个模型中心使用FLUX作为基础模型。用户在使用此代码时必须遵守FLUX的许可证。有关更多详细信息，请参考FLUX的许可证。

引用

如果您在研究中发现这项工作很有用，请考虑引用：

@article{lhhuang2024iclora,
  title={In-Context LoRA for Diffusion Transformers},
  author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Shi, Yupeng and Dou, Huanzhang and Liang, Chen and Feng, Yutong and Liu, Yu and Zhou, Jingren},
  journal={arXiv preprint arxiv:2410.23775},
  year={2024}
}

@article{lhhuang2024iclora,
  title={Group Diffusion Transformers are Unsupervised Multitask Learners},
  author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Dou, Huanzhang and Shi, Yupeng and Feng, Yutong and Liang, Chen and Liu, Yu and Zhou, Jingren},
  journal={arXiv preprint arxiv:2410.15027},
  year={2024}
}

下载模型

这些模型的权重以Safetensors格式提供。

在“文件与版本”选项卡中下载它们。