标签:

• 文本到图像
• LoRA（低秩适应）
• 扩散模型
• 模板:扩散-LoRA 基础模型: black-forest-labs/FLUX.1-dev 实例提示: 无 许可证: MIT

📢 [项目主页] [GitHub仓库] [论文]

🔥 最新动态

• [2024-12-17] 🚀 我们隆重发布 IDEA-Bench，这是一个全面评估生成模型零样本任务泛化能力的基准测试。该基准包含100个现实设计任务，涵盖275个独特案例。尽管面向通用场景，当前最佳模型EMU2仅获得6.81分（满分100），凸显了该领域的挑战性。快来探索基准，挑战模型性能极限！
• [2024-11-16] 🌟 社区持续创新IC-LoRA应用！精彩项目包括虚拟试穿、产品设计、物体迁移、角色扮演等领域的模型、ComfyUI节点和工作流。查看**社区创意作品**。衷心感谢所有贡献者的卓越努力！

社区IC-LoRA创意作品

我们欣喜展示社区基于上下文LoRA（IC-LoRA）的创新项目。如有推荐或作品分享，欢迎提交Pull Request!

项目名称	类型	支持任务	效果示例
1. Comfyui_Object_Migration	ComfyUI节点&工作流&LoRA模型	服装迁移、卡通服装转写实等
2. Flux简易试穿-上下文LoRA	LoRA模型&ComfyUI工作流	虚拟试装
3. Flux上下文视觉身份LoRA工作流	ComfyUI工作流	视觉身份迁移
4. 产品设计IC-LoRA工作流	ComfyUI工作流	产品设计/角色扮演等
5. Flux产品设计-上下文LoRA	LoRA模型&工作流	产品设计
6. IC-LoRA角色故事生成器	ComfyUI工作流	角色电影故事生成
7. 上下文LoRA｜可爱四格漫画	LoRA模型&工作流	四格漫画生成
8. 创意特效LoRA套装	LoRA模型&工作流	电影分镜生成等

衷心感谢所有推动IC-LoRA生态发展的贡献者。

模型概述

上下文LoRA通过微调文生图模型（如FLUX）生成具有可定制内在关联的图像组，支持基于SDEdit的图像组条件生成，可适配多种任务。

本模型库包含10个任务的IC-LoRA模型，模型库详述各模型及推荐参数。训练方法详见论文。

核心思想

IC-LoRA通过拼接条件图像与目标图像为复合图像，并采用自然语言定义任务，实现广泛应用的灵活适配。

特性

• 任务无关框架：通用框架需针对不同任务微调
• 可定制图像组生成：生成具有特定关联规则的图像组
• 图像组条件控制：支持基于图像组的条件生成

更多细节请参阅论文或项目主页。

模型库

下表列出10个IC-LoRA模型及推荐参数。

许可证

本模型库基于FLUX基础模型，使用时需遵守FLUX许可证。

引用

若研究工作使用本成果，请引用：

@article{lhhuang2024iclora,
  title={In-Context LoRA for Diffusion Transformers},
  author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Shi, Yupeng and Dou, Huanzhang and Liang, Chen and Feng, Yutong and Liu, Yu and Zhou, Jingren},
  journal={arXiv preprint arxiv:2410.23775},
  year={2024}
}

@article{lhhuang2024iclora,
  title={Group Diffusion Transformers are Unsupervised Multitask Learners},
  author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Dou, Huanzhang and Shi, Yupeng and Feng, Yutong and Liang, Chen and Liu, Yu and Zhou, Jingren},
  journal={arXiv preprint arxiv:2410.15027},
  year={2024}
}

模型下载

模型权重为Safetensors格式，请在文件版本页下载。