穿梭3号扩散模型

模型变体

这些模型变体提供了不同精度级别和格式，针对多样化硬件能力和使用场景进行了优化

• bfloat16浮点格式
• GGUF量化格式
• fp8浮点格式

穿梭3号扩散模型是一款文生图AI模型，仅需4步即可根据文本提示生成细节丰富、风格多样的图像。该模型在图像质量、文字渲染、复杂提示理解以及资源效率方面均有显著提升。

您可以通过网站体验该模型：https://chat.shuttleai.com/images

通过API使用模型

您可以通过ShuttleAI平台使用API调用穿梭3号扩散模型

• ShuttleAI官网
• ShuttleAI文档

使用🧨Diffusers库运行模型

安装或升级diffusers库

pip install -U diffusers

然后使用DiffusionPipeline运行模型

import torch
from diffusers import DiffusionPipeline

# 从预训练模型加载扩散管道，使用bfloat16张量类型
pipe = DiffusionPipeline.from_pretrained(
    "shuttleai/shuttle-3-diffusion", torch_dtype=torch.bfloat16
).to("cuda")

# 如需节省显存，可取消注释以下行将模型卸载到CPU
# pipe.enable_model_cpu_offload()

# 如需在兼容GPU上提升性能，可取消注释以下行启用torch.compile
# 注意这会显著增加加载时间
# pipe.transformer.to(memory_format=torch.channels_last)
# pipe.transformer = torch.compile(
#     pipe.transformer, mode="max-autotune", fullgraph=True
# )

# 设置图像生成提示词
prompt = "一只猫举着写有'你好世界'的牌子"

# 使用扩散管道生成图像
image = pipe(
    prompt,
    height=1024,
    width=1024,
    guidance_scale=3.5,
    num_inference_steps=4,
    max_sequence_length=256,
    # 如需可重复结果，可取消注释以下行使用固定随机种子
    # generator=torch.Generator("cpu").manual_seed(0)
).images[0]

# 保存生成图像
image.save("shuttle.png")

更多信息请参阅diffusers文档

使用ComfyUI运行模型

要在本地通过ComfyUI运行穿梭3号扩散模型，可使用此safetensors文件。

与其他模型对比

穿梭3号扩散模型仅需4步即可生成比Flux Dev更优质的图像，同时采用Apache 2开源许可。 更多示例

训练详情

穿梭3号扩散模型以Flux.1 Schnell为基础，仅需4步即可生成媲美Flux Dev或Pro的图像，采用Apache 2许可。训练过程中进行了部分去蒸馏处理。当推理步数超过10步时，模型会进入"精修模式"，在不改变构图的情况下增强图像细节。我们通过特殊训练方法突破了Schnell系列模型的限制，显著提升了细节表现力和色彩还原度。