文本编码器未参与训练。
推理时可复用基础模型的文本编码器。

训练设置

• 训练周期: 1
• 训练步数: 5000
• 学习率: 5e-06
  • 学习率计划: 多项式
  • 预热步数: 100
• 最大梯度值: 2.0
• 有效批大小: 4
  • 微批大小: 1
  • 梯度累积步数: 4
  • GPU数量: 1
• 梯度检查点: 启用
• 预测类型: 流匹配（额外参数=['shift=3']）
• 优化器: adamw_bf16
• 可训练参数精度: 纯BF16
• 基础模型精度: 保持不变
• 标题丢弃概率: 0.1%

数据集

images-512

• 重复次数: 1
• 总图像数: 3061
• 总宽高比分桶数: 1
• 分辨率: 0.262144百万像素
• 裁剪: 是
• 裁剪方式: 居中
• 裁剪比例: 方形
• 用于正则化数据: 否

images-768

• 重复次数: 1
• 总图像数: 2242
• 总宽高比分桶数: 1
• 分辨率: 0.589824百万像素
• 裁剪: 是
• 裁剪方式: 居中
• 裁剪比例: 方形
• 用于正则化数据: 否

images-1024

• 重复次数: 1
• 总图像数: 1449
• 总宽高比分桶数: 1
• 分辨率: 1.048576百万像素
• 裁剪: 是
• 裁剪方式: 居中
• 裁剪比例: 方形
• 用于正则化数据: 否

推理

import torch  
from diffusers import DiffusionPipeline  

model_id = 'Minh-Ha/simpletuner-finetuned-sd3'  
pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16) # 直接加载为bf16格式  

prompt = "一张照片级真实的病理图像"  
negative_prompt = '模糊、裁剪、丑陋'  

pipeline.to('cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu') # 管道已处于目标精度级别  
model_output = pipeline(  
    prompt=prompt,  
    negative_prompt=negative_prompt,  
    num_inference_steps=20,  
    generator=torch.Generator(device='cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu').manual_seed(42),  
    width=1024,  
    height=1024,  
    guidance_scale=3.0,  
).images[0]  

model_output.save("output.png", format="PNG")