许可证: 其他 许可证名称: flux-1-dev-非商业许可证 许可证链接: https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

语言:

• 英文 库名称: diffusers 管道标签: 文本生成图像

标签:

• 文本生成图像
• ControlNet
• Diffusers
• Flux.1-dev
• 图像生成
• Stable Diffusion 基础模型: black-forest-labs/FLUX.1-dev

FLUX.1-dev-ControlNet-深度控制模型

本仓库包含由InstantX团队和Shakker实验室联合研发的FLUX.1-dev深度控制网络。

模型卡片

• 该模型由4个FluxTransformerBlock和1个FluxSingleTransformerBlock组成
• 本检查点在真实与生成图像数据集上联合训练，使用16A800显卡进行70K步训练。批处理大小为164=64，分辨率为1024。学习率设置为5e-6。我们采用Depth-Anything-V2提取深度图
• 推荐controlnet_conditioning_scale参数范围为0.3-0.7

效果展示

推理示例

import torch
from diffusers.utils import load_image
from diffusers import FluxControlNetPipeline, FluxControlNetModel

基础模型 = "black-forest-labs/FLUX.1-dev"
控制网络模型 = "Shakker-Labs/FLUX.1-dev-ControlNet-Depth"

controlnet = FluxControlNetModel.from_pretrained(控制网络模型, torch_dtype=torch.bfloat16)
pipe = FluxControlNetPipeline.from_pretrained(
    基础模型, controlnet=controlnet, torch_dtype=torch.bfloat16
)
pipe.to("cuda")

控制图像 = load_image("https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Depth/resolve/main/assets/cond1.png")
提示词 = "白发苍苍的老人"

生成图像 = pipe(提示词,
             控制图像=控制图像,
             controlnet_conditioning_scale=0.5,
             宽度=控制图像.size[0],
             高度=控制图像.size[1],
             推理步数=24,
             引导系数=3.5,
).images[0]

如需多控制网络支持，请参考Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro。

相关资源

• InstantX/FLUX.1-dev-Controlnet-Canny
• Shakker-Labs/FLUX.1-dev-ControlNet-Depth
• Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro

致谢

本项目由Shakker AI赞助发布，保留所有版权。