base_model: black-forest-labs/FLUX.1-dev library_name: diffusers tags:

• flux
• flux-diffusers
• 文生图
• diffusers
• controlnet
• diffusers训练
• flux
• flux-diffusers
• 文生图
• diffusers
• controlnet
• diffusers训练 inference: true

promeai/FLUX.1-controlnet-lineart-promeai

promeai/FLUX.1-controlnet-lineart-promeai包含基于black-forest-labs/FLUX.1-dev模型训练、采用线稿条件的controlnet权重。

以下是示例图像。

提示词：维多利亚古宅厨房里，烛光映照下，金发蓝眼的动漫女仆少女睁大嘴巴，蓬松的赤狐耳与巨大尾巴格外醒目。她身着黑底金叶纹长裙配白围裙，手捧插满蜡烛的精致黑森林蛋糕。窗外雾气弥漫的森林与满室奢华陈设形成鲜明对比

控制输入	生成结果

使用指南

通过diffusers调用

import torch
from diffusers.utils import load_image
from diffusers.pipelines.flux.pipeline_flux_controlnet import FluxControlNetPipeline
from diffusers.models.controlnet_flux import FluxControlNetModel

base_model = 'black-forest-labs/FLUX.1-dev'
controlnet_model = 'promeai/FLUX.1-controlnet-lineart-promeai'
controlnet = FluxControlNetModel.from_pretrained(controlnet_model, torch_dtype=torch.bfloat16)
pipe = FluxControlNetPipeline.from_pretrained(base_model, controlnet=controlnet, torch_dtype=torch.bfloat16)
pipe.to("cuda")

control_image = load_image("./images/example-control.jpg")
prompt = "维多利亚古宅厨房里，烛光映照下，金发蓝眼的动漫女仆少女睁大嘴巴，蓬松的赤狐耳与巨大尾巴格外醒目。她身着黑底金叶纹长裙配白围裙，手捧插满蜡烛的精致黑森林蛋糕。窗外雾气弥漫的森林与满室奢华陈设形成鲜明对比"
image = pipe(
    prompt, 
    control_image=control_image,
    controlnet_conditioning_scale=0.6,
    num_inference_steps=28, 
    guidance_scale=3.5,
).images[0]
image.save("./image.jpg")

通过comfyui调用

同时提供comfyui工作流示例。

局限性

• 本模型不具备事实性信息生成能力
• 作为统计模型可能放大现有社会偏见
• 生成结果可能存在提示词偏离
• 输出质量高度依赖提示词撰写风格

训练详情

本controlnet在单张A100-80G显卡上训练，采用精选专有真实场景图像数据集。训练分两阶段：前期使用512分辨率图像（batchsize=3），后期切换至1024分辨率（batchsize=1）。该配置下GPU显存占用约70G，经过约3天训练获得当前14000步的检查点。