许可证: 其他 许可证名称: flux-1-dev-non-commercial-license 许可证链接: https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

语言:

• 英文 库名称: diffusers 管道标签: 文本生成图像

标签:

• 文本生成图像
• IP适配器
• Flux.1开发版
• 图像生成
• 稳定扩散 基础模型: black-forest-labs/FLUX.1-dev

FLUX.1-dev-IP适配器

本仓库包含由InstantX团队研究人员发布的FLUX.1-dev模型的IP适配器，其中图像处理方式与文本类似，因此可能响应较慢或与其他文本产生干扰，但我们衷心希望您喜欢这个模型，尽情创作并与我们分享您的作品在Twitter上。

模型卡片

这是一个常规的IP适配器，新增层被嵌入到38个单层和19个双层模块中。我们采用性能卓越的google/siglip-so400m-patch14-384进行图像编码，并使用包含2个线性层的简单MLPProjModel进行投影。图像令牌数设置为128。当前发布的模型在1000万开源数据集上训练，批处理大小为128，训练步数为8万步。

效果展示

LoRA效果展示

我们采用Shakker-Labs/FLUX.1-dev-LoRA-collections作为角色LoRA，并使用其默认提示词。

推理

代码尚未集成到diffusers中，目前请使用我们的本地文件。

import os
from PIL import Image

import torch
import torch.nn as nn

from pipeline_flux_ipa import FluxPipeline
from transformer_flux import FluxTransformer2DModel
from attention_processor import IPAFluxAttnProcessor2_0
from transformers import AutoProcessor, SiglipVisionModel

from infer_flux_ipa_siglip import resize_img, MLPProjModel, IPAdapter

image_encoder_path = "google/siglip-so400m-patch14-384"
ipadapter_path = "./ip-adapter.bin"
    
transformer = FluxTransformer2DModel.from_pretrained(
    "black-forest-labs/FLUX.1-dev", subfolder="transformer", torch_dtype=torch.bfloat16
)

pipe = FluxPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-dev", transformer=transformer, torch_dtype=torch.bfloat16
)

ip_model = IPAdapter(pipe, image_encoder_path, ipadapter_path, device="cuda", num_tokens=128)

image_dir = "./assets/images/2.jpg"
image_name = image_dir.split("/")[-1]
image = Image.open(image_dir).convert("RGB")
image = resize_img(image)

prompt = "一位年轻女孩"
    
images = ip_model.generate(
    pil_image=image, 
    prompt=prompt,
    scale=0.7,
    width=960, height=1280,
    seed=42
)

images[0].save(f"results/{image_name}")

ComfyUI集成

请参考ComfyUI-IPAdapter-Flux。

在线推理

您也可以在Shakker AI体验此模型。

局限性

本模型支持图像参考，但不适用于精细风格迁移或角色一致性，这意味着在内容泄露和风格迁移之间存在权衡。我们在基于DiT架构的FLUX.1-dev中未发现与基于UNet的InstantStyle类似的特性。可能需要多次尝试才能获得满意结果。此外，当前发布的模型可能存在多样性受限的问题，无法覆盖某些风格或概念。

许可证

本模型基于flux-1-dev-non-commercial-license发布，保留所有权利。

致谢

本项目由HuggingFace、fal.ai和Shakker Labs赞助支持。

引用

如果您在研究中使用了本项目，请通过以下方式引用我们：

@misc{flux-ipa,
    author = {InstantX团队},
    title = {InstantX FLUX.1-dev IP适配器页面},
    year = {2024},
}