🚀 Pixel Art XL

Pixel Art XL 是一款基于 Stable Diffusion XL 的 LoRA 模型，专注于生成像素风图像。它能够将文本描述转化为精美的像素艺术作品，为用户带来独特的图像生成体验。

🚀 快速开始

环境准备

使用该模型前，你需要安装必要的库，以下是示例代码：

from diffusers import DiffusionPipeline, LCMScheduler
import torch

模型加载

model_id = "stabilityai/stable-diffusion-xl-base-1.0"
lcm_lora_id = "latent-consistency/lcm-lora-sdxl"
pipe = DiffusionPipeline.from_pretrained(model_id, variant="fp16")
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)

pipe.load_lora_weights(lcm_lora_id, adapter_name="lora")
pipe.load_lora_weights("./pixel-art-xl.safetensors", adapter_name="pixel")

pipe.set_adapters(["lora", "pixel"], adapter_weights=[1.0, 1.2])
pipe.to(device="cuda", dtype=torch.float16)

图像生成

prompt = "pixel, a cute corgi"
negative_prompt = "3d render, realistic"

num_images = 9

for i in range(num_images):
    img = pipe(
        prompt=prompt,
        negative_prompt=negative_prompt,
        num_inference_steps=8,
        guidance_scale=1.5,
    ).images[0]
    
    img.save(f"lcm_lora_{i}.png")

✨ 主要特性

• 像素完美：通过将图像下采样 8 次（使用最近邻插值法），可以获得像素完美的图像。
• 减少伪影：使用固定的 VAE（如 0.9 或 fp16 修复）可以避免生成图像出现伪影。
• 高性能：搭配 LCM LoRA 使用，仅需 8 步推理和 1.5 的引导比例，即可快速生成高质量图像。
• 灵活性高：无需使用 refiner，仅使用 1 个文本编码器即可工作，无需风格提示和触发关键词。

💻 使用示例

基础用法

from diffusers import DiffusionPipeline, LCMScheduler
import torch

model_id = "stabilityai/stable-diffusion-xl-base-1.0"
lcm_lora_id = "latent-consistency/lcm-lora-sdxl"
pipe = DiffusionPipeline.from_pretrained(model_id, variant="fp16")
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)

pipe.load_lora_weights(lcm_lora_id, adapter_name="lora")
pipe.load_lora_weights("./pixel-art-xl.safetensors", adapter_name="pixel")

pipe.set_adapters(["lora", "pixel"], adapter_weights=[1.0, 1.2])
pipe.to(device="cuda", dtype=torch.float16)

prompt = "pixel, a cute corgi"
negative_prompt = "3d render, realistic"

num_images = 9

for i in range(num_images):
    img = pipe(
        prompt=prompt,
        negative_prompt=negative_prompt,
        num_inference_steps=8,
        guidance_scale=1.5,
    ).images[0]
    
    img.save(f"lcm_lora_{i}.png")

高级用法

如果你需要更高的性能，可以使用 LCM LoRA 并调整参数：

# 使用 LCM LoRA 提高性能
from diffusers import DiffusionPipeline, LCMScheduler
import torch

model_id = "stabilityai/stable-diffusion-xl-base-1.0"
lcm_lora_id = "latent-consistency/lcm-lora-sdxl"
pipe = DiffusionPipeline.from_pretrained(model_id, variant="fp16")
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)

pipe.load_lora_weights(lcm_lora_id, adapter_name="lora")
pipe.load_lora_weights("./pixel-art-xl.safetensors", adapter_name="pixel")

pipe.set_adapters(["lora", "pixel"], adapter_weights=[1.0, 1.2])
pipe.to(device="cuda", dtype=torch.float16)

prompt = "pixel, a cute corgi"
negative_prompt = "3d render, realistic"

# 仅需 8 步推理和 1.5 的引导比例
num_inference_steps = 8
guidance_scale = 1.5

num_images = 9

for i in range(num_images):
    img = pipe(
        prompt=prompt,
        negative_prompt=negative_prompt,
        num_inference_steps=num_inference_steps,
        guidance_scale=guidance_scale,
    ).images[0]
    
    img.save(f"lcm_lora_{i}.png")

📚 详细文档

注意事项

⚠️ 重要提示

• 不要使用 refiner。
• 仅使用 1 个文本编码器即可。
• 无需风格提示和触发关键词。
• 该模型适用于等轴测和非等轴测风格。
• 支持 0.9 和 1.0 版本。

性能优化

💡 使用建议

• 搭配 LCM LoRA 使用，可提高性能。
• 使用 8 步推理和 1.5 的引导比例。
• Pixel Art XL 的 LoRA 强度设置为 1.2 效果更佳。

模型信息

📄 许可证

本项目采用 CreativeML OpenRAIL-M 许可证。