license: apache-2.0 base_model:

• black-forest-labs/FLUX.1-dev pipeline_tag: text-to-image tags:
• lora widget:
• text: >- 月光下一对恋人相拥的浪漫场景，背景是静谧的湖泊与山脉，周围环绕着红色花朵。 output: url: gallary/image_1_enhance.jpg library_name: diffusers

FLUX美学增强LoRA

简介

这是为FLUX.1-dev训练的LoRA模型，用于提升模型生成图像的美学质量。改进包括但不限于：丰富的细节、美丽的光影、美学构图和清晰的视觉效果。该模型无需任何触发词。

• 论文: https://arxiv.org/abs/2412.12888
• Github: https://github.com/modelscope/DiffSynth-Studio
• 模型: ModelScope, HuggingFace
• 演示: ModelScope, HuggingFace (即将上线)

方法

ArtAug项目受到GPT-o1等推理方法的启发，这些方法依赖于模型交互和自我修正。我们开发了一个框架，旨在通过与图像理解模型的交互来增强图像生成模型的能力。ArtAug的训练过程包括以下步骤：

1. 合成-理解交互：使用图像生成模型生成图像后，我们采用多模态大语言模型（Qwen2-VL-72B）分析图像内容并提供修改建议，从而重新生成更高质量的图像。

2. 数据生成与过滤：交互式生成涉及较长的推理时间，有时会产生较差的图像内容。因此，我们离线生成大量图像对，进行过滤，并用于后续训练。

3. 差分训练：我们应用差分训练技术来训练LoRA模型，使其能够学习增强前后图像之间的差异，而不是直接在增强图像数据集上进行训练。

4. 迭代增强：训练好的LoRA模型被融合到基础模型中，整个过程用融合后的模型重复多次，直到交互算法不再提供显著的增强。每次迭代生成的LoRA模型被组合起来，形成最终的模型。

该模型将Qwen2-VL-72B的美学理解融入FLUX.1[dev]，从而提升了生成图像的质量。

使用

该模型使用DiffSynth-Studio训练。我们建议用户使用DiffSynth-Studio进行推理。

git clone https://github.com/modelscope/DiffSynth-Studio.git
cd DiffSynth-Studio
pip install -e .

import torch
from diffsynth import ModelManager, FluxImagePipeline, download_customized_models

lora_path = download_customized_models(
    model_id="DiffSynth-Studio/ArtAug-lora-FLUX.1dev-v1",
    origin_file_path="merged_lora.safetensors",
    local_dir="models/lora"
)[0]
model_manager = ModelManager(torch_dtype=torch.bfloat16, device="cuda", model_id_list=["FLUX.1-dev"])
model_manager.load_lora(lora_path, lora_alpha=1.0)
pipe = FluxImagePipeline.from_model_manager(model_manager)

image = pipe(prompt="a house", seed=0)
image.save("image_artaug.jpg")

由于该模型封装在通用的FLUX LoRA格式中，可以被大多数LoRA加载器加载，从而允许您将该LoRA模型集成到自己的工作流程中。

示例

FLUX.1-dev	FLUX.1-dev + ArtAug LoRA