文本编码器未参与训练。
推理时可复用基础模型的文本编码器。

训练设置

• 训练周期: 0
• 训练步数: 10000
• 学习率: 5e-06
  • 学习率计划: 多项式衰减
  • 预热步数: 100
• 最大梯度值: 2.0
• 有效批大小: 16
  • 微批大小: 1
  • 梯度累积步数: 4
  • GPU数量: 4
• 梯度检查点: 启用
• 预测类型: flow_matching (额外参数=['shift=3'])
• 优化器: adamw_bf16
• 可训练参数精度: 纯BF16
• 基础模型精度: 保持原样
• 标题丢弃概率: 0.1%

数据集

images-512

• 重复次数: 1
• 总图像数: ~417748
• 总宽高比分桶数: 1
• 分辨率: 0.262144百万像素
• 裁剪: 是
• 裁剪方式: 随机
• 裁剪比例: 正方形
• 是否用于正则化数据: 否

images-768

• 重复次数: 1
• 总图像数: ~266740
• 总宽高比分桶数: 1
• 分辨率: 0.589824百万像素
• 裁剪: 是
• 裁剪方式: 随机
• 裁剪比例: 正方形
• 是否用于正则化数据: 否

images-1024

• 重复次数: 1
• 总图像数: ~246816
• 总宽高比分桶数: 1
• 分辨率: 1.048576百万像素
• 裁剪: 是
• 裁剪方式: 随机
• 裁剪比例: 正方形
• 是否用于正则化数据: 否

推理

import torch  
from diffusers import DiffusionPipeline  

model_id = 'Minh-Ha/quilt-1m-finetuned-sd3.5'  
pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16) # 直接加载为bf16格式  

prompt = "一张逼真的病理学图像"  
negative_prompt = '模糊、裁剪、丑陋'  

pipeline.to('cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu') # 管道已处于目标精度  
model_output = pipeline(  
    prompt=prompt,  
    negative_prompt=negative_prompt,  
    num_inference_steps=20,  
    generator=torch.Generator(device='cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu').manual_seed(42),  
    width=1024,  
    height=1024,  
    guidance_scale=3.0,  
).images[0]  

model_output.save("output.png", format="PNG")