文本编码器未参与训练。
推理时可复用基础模型的文本编码器。

训练设置

• 训练周期: 384

• 训练步数: 5000

• 学习率: 0.0001

  • 学习率计划: 带热身的恒定学习率
  • 热身步数: 100

• 最大梯度值: 1.0

• 有效批次大小: 4

  • 微批次大小: 4
  • 梯度累积步数: 1
  • GPU数量: 1

• 梯度检查点: 启用

• 预测类型: 流匹配（额外参数=['flow_schedule_auto_shift', 'shift=0.0', 'flux_guidance_mode=constant', 'flux_guidance_value=1.0', 'flow_matching_loss=compatible', 'flux_lora_target=all+ffs']）

• 优化器: adamw_bf16

• 可训练参数精度: 纯BF16

• 基础模型精度: 保持不变

• 标题丢弃概率: 0.0%

• LoRA秩: 16

• LoRA Alpha: 无

• LoRA丢弃率: 0.1

• LoRA初始化风格: 默认

数据集

kora图像数据

• 重复次数: 0
• 总图像数: 50
• 总宽高比分桶数: 1
• 分辨率: 1.048576百万像素
• 已裁剪: 是
• 裁剪方式: 居中
• 裁剪比例: 正方形
• 是否用于正则化数据: 否

推理

import torch
from diffusers import DiffusionPipeline

model_id = 'black-forest-labs/FLUX.1-dev'
adapter_id = 'Forezeztgump/flux-lora-training'
pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16) # 直接加载为bf16格式
pipeline.load_lora_weights(adapter_id)

prompt = "照片：$kora猫在窗台上睡觉。"

## 可选：量化模型以节省显存
## 注：训练时未量化模型，推理时无需强制量化
#from optimum.quanto import quantize, freeze, qint8
#quantize(pipeline.transformer, weights=qint8)
#freeze(pipeline.transformer)
    
pipeline.to('cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu') # 管道已处于目标精度
model_output = pipeline(
    prompt=prompt,
    num_inference_steps=15,
    generator=torch.Generator(device='cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu').manual_seed(42),
    width=1024,
    height=1024,
    guidance_scale=3.5,
).images[0]

model_output.save("output.png", format="PNG")