许可证: 其他 许可证名称: FLUX-1-dev非商业许可证 许可证链接: https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md 语言:

• 英文 基础模型:
• black-forest-labs/FLUX.1-dev 任务标签: 图像到图像 标签:
• ComfyUI
• 图像修复 库名称: diffusers

中文版说明文档

FLUX.1-dev ControlNet图像修复 - Beta版

本仓库托管了由阿里妈妈创意团队开发的alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Alpha模型的改进版图像修复ControlNet检查点。

🔥最新动态！

• [2024.10.16] 我们发布了8步FLUX.1蒸馏版LoRA模型alimama-creative/FLUX.1-Turbo-Alpha，与我们的图像修复ControlNet兼容。

主要改进

相比前一版本，我们最新的图像修复模型带来了显著提升：

1. 支持1024分辨率：能够直接处理和生成1024x1024分辨率图像，无需额外放大步骤，提供更高质量和更细致的输出效果。
2. 增强细节生成：经过微调，能更好地捕捉和重现修复区域的精细细节。
3. 改进提示控制：通过增强的提示解释能力，提供对生成内容更精确的控制。

效果展示

以下图像使用ComfyUI工作流程生成（点击下载），参数设置为： control-strength = 1.0，control-end-percent = 1.0，true_cfg = 1.0

提示词 : '在木板上写下几行字"阿里妈妈创意"'

提示词 : "一个拥有美丽大白翅膀的女孩"

提示词 : "红发"

提示词 : " "

提示词 : "阿尔伯特·爱因斯坦"

提示词 : "拉维洛户外组合沙发套装配咖啡桌"

ComfyUI使用指南：

下载示例ComfyUI工作流程点击此处。

• 使用t5xxl-FP16和flux1-dev-fp8模型进行30步1024像素推理（H20 GPU）：

  • GPU显存占用：27GB
  • 推理时间：48秒（true_cfg=3.5时），26秒（true_cfg=1时）

• 通过调整以下参数可获得不同效果：

• 更全面的全图提示词可获得更好的整体效果。例如，除了描述需要修复的区域外，还可以描述整张图片的背景、氛围和风格。这种方法可以使生成结果更加和谐自然。

Diffusers集成

1. 安装所需diffusers版本：

pip install diffusers==0.30.2

2. 克隆本仓库：

git clone https://github.com/alimama-creative/FLUX-Controlnet-Inpainting.git

3. 在main.py中配置image_path、mask_path和prompt后执行：

python main.py

模型规格

• 训练数据集：来自LAION2B和专有数据源的1500万张图像
• 最佳推理分辨率：1024x1024

许可证

我们的模型权重基于FLUX.1 [dev]非商业许可证发布。