语言:

• 英语 许可证: Apache-2.0 库名称: diffusers 管道标签: 文本生成图像 标签:
• 文本生成图像
• 图像生成
• shuttle

实例提示: 无

Shuttle 3.1 美学版

加入我们的Discord获取最新更新、新闻和更多内容。

模型变体

这些模型变体提供了不同精度级别和格式，针对各种硬件能力和使用场景进行了优化：

• bfloat16
• fp8
• GGUF（即将推出）

Shuttle 3.1 美学版是一款文本生成图像的AI模型，旨在仅用4到6步就能从文本提示中创建出细节丰富且美观的图像。它在图像质量、排版、理解复杂提示和资源效率方面提供了增强的性能。

您可以通过网站https://designer.shuttleai.com/试用该模型。

通过API使用模型

您可以通过ShuttleAI使用Shuttle 3.1 美学版的API：

• ShuttleAI
• ShuttleAI文档

使用🧨 Diffusers运行模型

安装或升级diffusers：

pip install -U diffusers

然后您可以使用DiffusionPipeline运行模型：

import torch
from diffusers import DiffusionPipeline

# 从预训练模型加载扩散管道，使用bfloat16作为张量类型。
pipe = DiffusionPipeline.from_pretrained(
    "shuttleai/shuttle-3.1-aesthetic", torch_dtype=torch.bfloat16
).to("cuda")

# 如果需要节省VRAM，可以通过以下代码将模型卸载到CPU。
# pipe.enable_model_cpu_offload()

# 以下代码可以启用torch.compile，以在兼容的GPU上获得潜在的性能提升。
# 注意，这可能会显著增加加载时间。
# pipe.transformer.to(memory_format=torch.channels_last)
# pipe.transformer = torch.compile(
#     pipe.transformer, mode="max-autotune", fullgraph=True
# )

# 设置图像生成的提示。
prompt = "一只猫举着写有'hello world'的牌子"

# 使用扩散管道生成图像。
image = pipe(
    prompt,
    height=1024,
    width=1024,
    guidance_scale=3.5,
    num_inference_steps=4,
    max_sequence_length=256,
    # 如果需要可重现的结果，可以取消注释以下行以使用手动种子。
    # generator=torch.Generator("cpu").manual_seed(0)
).images[0]

# 保存生成的图像。
image.save("shuttle.png")

了解更多信息，请查看diffusers文档

使用ComfyUI运行模型

要在本地使用ComfyUI运行Shuttle 3.1 美学版的推理，您可以使用这个safetensors文件。

训练细节

Shuttle 3.1 美学版以Shuttle 3 Diffusion为基础。它可以在仅4步内生成类似Flux Dev的图像，并且采用Apache 2许可证。在训练过程中，模型部分去除了蒸馏效果。我们通过采用特殊的训练方法克服了Schnell系列模型的限制，从而提升了细节和色彩表现。