license: openrail++ tags:

• 文本生成图像
• Pixart-α

         

🐱 Pixart-α 模型卡片

模型架构

Pixart-α 采用纯Transformer模块构建的潜在扩散模型：
可直接通过文本提示在单次采样过程中生成1024像素图像。
源代码已发布于 https://github.com/PixArt-alpha/PixArt-alpha。

模型描述

• 开发团队: Pixart-α
• 模型类型: 基于扩散Transformer的文本生成图像模型
• 许可协议: CreativeML Open RAIL++-M 许可证
• 模型说明: 该模型可根据文本提示生成和修改图像，是采用Transformer潜在扩散架构的模型，使用固定预训练文本编码器(T5)和潜在特征编码器(VAE)。
• 更多资源: 请访问我们的GitHub仓库及arXiv论文。

模型来源

研究用途推荐使用generative-models代码库(https://github.com/PixArt-alpha/PixArt-alpha)，该库支持训练推理且将持续集成SA-Solver等先进采样器。
Hugging Face提供免费在线推理。

• 代码库: https://github.com/PixArt-alpha/PixArt-alpha
• 演示平台: https://huggingface.co/spaces/PixArt-alpha/PixArt-alpha

🔥🔥🔥 Pixart-α核心优势

训练效率

PixArt-α仅需Stable Diffusion v1.5训练时间的10.8%(675 vs. 6,250 A100 GPU天)，节省近30万美元($26,000 vs. $320,000)并减少90%碳排放。相较当前更大规模的RAPHAEL模型，训练成本仅为其1%。

性能评估

上图显示用户对Pixart-α与SDXL 0.9、Stable Diffusion 2、DALLE-2及DeepFloyd的偏好评估。Pixart-α基础模型表现媲美甚至超越现有SOTA模型。

🧨 Diffusers 调用

确保安装diffusers>=0.22.0：

pip install -U diffusers --upgrade

同时安装依赖库：

pip install transformers accelerate safetensors

基础模型调用示例：

from diffusers import PixArtAlphaPipeline
import torch

pipe = PixArtAlphaPipeline.from_pretrained("PixArt-alpha/PixArt-XL-2-512x512", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

# torch<2.0需启用以下优化
# pipe.enable_xformers_memory_efficient_attention()

prompt = "宇航员骑着绿色骏马"
images = pipe(prompt=prompt).images[0]

使用torch>=2.0时，可通过torch.compile提升20-30%推理速度：

pipe.transformer = torch.compile(pipe.transformer, mode="reduce-overhead", fullgraph=True)

GPU显存不足时可启用CPU卸载：

- pipe.to("cuda")
+ pipe.enable_model_cpu_offload()

更多用法详见Pixart-α文档。

免费Colab体验

点击此处通过Google Colab免费试用。

使用范围

适用场景

本模型仅限研究用途，包括但不限于：

• 艺术创作与设计辅助
• 教育/创意工具开发
• 生成模型研究
• 内容安全部署研究
• 生成模型局限性探索

非适用场景

本模型未针对事实性内容进行优化，生成人物/事件的真实表征不属于模型能力范围。

局限性

技术限制

• 无法实现完美照片级真实感
• 无法生成可识别文字
• 复杂组合场景（如"蓝色球体上的红色立方体"）表现欠佳
• 手指等细节生成可能不准确
• 自编码模块存在信息损失

偏见风险

图像生成能力可能放大社会偏见。