标签:

• 文本到图像
• LoRA（低秩适应）
• 扩散模型
• 模板:扩散-LoRA 基础模型: black-forest-labs/FLUX.1-dev 实例提示: 无 许可证: MIT

📢 [项目主页] [GitHub仓库] [论文]

🔥 最新动态

• [2024-11-16] 🌟 社区持续创新IC-LoRA应用！涌现了包括虚拟试衣、产品设计、物体迁移、角色扮演等领域的模型、ComfyUI节点和工作流。探索这些创意成果请见**社区创作案例**。衷心感谢所有贡献者的卓越努力！

模型概述

上下文LoRA（In-Context LoRA）通过微调文生图模型（如FLUX），可生成具有自定义内在关联的图像组，并支持基于SDEdit的跨图像组条件生成。该技术能适配多种任务场景。

本模型库包含10个任务的上下文LoRA模型。模型库详细列出了各模型及其推荐配置。训练方法细节请参阅我们的论文。

核心思想

IC-LoRA通过拼接条件图像与目标图像形成组合图像，同时使用自然语言定义任务关系。这种设计实现了对不同应用的灵活适配。

技术特性

• 任务无关框架：作为通用框架，但需针对不同任务进行专项微调
• 可定制图像组生成：可微调模型生成具有特定关联规则的图像组
• 跨图像组条件控制：支持基于一组图像生成另一组关联图像，实现可控生成

更多技术细节和案例请阅读论文或访问项目主页。

模型库

下表列出10个IC-LoRA模型及其推荐配置：

社区创作案例

我们欣喜展示社区基于IC-LoRA的创新项目。如有推荐项目，欢迎提交Pull Request!

项目名称	类型	支持任务	效果示例
1. Comfyui_Object_Migration	ComfyUI节点/工作流/LoRA模型	服装迁移/卡通转写实等
2. Flux简易试衣LoRA	LoRA模型 & ComfyUI工作流	虚拟试衣
3. Flux视觉识别LoRA工作流	ComfyUI工作流	视觉识别迁移
4. 产品设计工作流	ComfyUI工作流	产品设计/角色扮演等
5. Flux产品设计LoRA	LoRA模型 & ComfyUI工作流	产品设计
6. 角色故事生成器	ComfyUI工作流	角色电影故事生成
7. 四格漫画LoRA	LoRA模型 & ComfyUI工作流	漫画条生成
8. 创意特效LoRA包	LoRA模型 & ComfyUI工作流	电影镜头生成等

衷心感谢所有推动IC-LoRA生态发展的贡献者。

许可证

本模型库基于FLUX模型，使用时需遵守FLUX许可证。

引用

若研究工作使用本成果，请引用：

@article{lhhuang2024iclora,
  title={In-Context LoRA for Diffusion Transformers},
  author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Shi, Yupeng and Dou, Huanzhang and Liang, Chen and Feng, Yutong and Liu, Yu and Zhou, Jingren},
  journal={arXiv preprint arxiv:2410.23775},
  year={2024}
}

@article{lhhuang2024iclora,
  title={Group Diffusion Transformers are Unsupervised Multitask Learners},
  author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Dou, Huanzhang and Shi, Yupeng and Feng, Yutong and Liang, Chen and Liu, Yu and Zhou, Jingren},
  journal={arXiv preprint arxiv:2410.15027},
  year={2024}
}

模型下载

模型权重为Safetensors格式，请在文件版本页下载。