许可证: openrail++ 标签:

• 文本生成图像
• PixArt-Σ

       

🐱 PixArt-Σ 模型卡片

模型架构

PixArt-Σ 采用纯Transformer模块构建的潜在扩散模型：
可直接通过文本提示在单次采样过程中生成1024像素、2K及4K分辨率图像。

源代码发布于 https://github.com/PixArt-alpha/PixArt-sigma。

模型描述

• 开发团队: PixArt-Σ
• 模型类型: 基于扩散Transformer的文本生成图像模型
• 许可证: CreativeML Open RAIL++-M 许可证
• 功能说明: 本模型可根据文本提示生成和编辑图像，采用Transformer潜在扩散架构，集成固定参数的预训练文本编码器(T5)与潜在特征编码器(VAE)。
• 延伸阅读: 访问GitHub仓库或查阅arXiv技术报告。

资源获取

研究用途推荐使用generative-models代码库(https://github.com/PixArt-alpha/PixArt-sigma)，该版本支持训练推理全流程，并持续集成SA-Solver等先进采样器。
Hugging Face提供在线推理服务。

• 代码库: https://github.com/PixArt-alpha/PixArt-sigma
• 演示平台: https://huggingface.co/spaces/PixArt-alpha/PixArt-Sigma

🧨 Diffusers 集成

[!重要提示]
需确保diffusers版本≥0.28.0：

pip install -U diffusers --upgrade

同时安装依赖库：

pip install transformers accelerate safetensors sentencepiece

旧版diffusers(<0.28.0)用户请参考此脚本。

基础模型调用示例：

import torch
from diffusers import Transformer2DModel, PixArtSigmaPipeline

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
weight_dtype = torch.float16

pipe = PixArtSigmaPipeline.from_pretrained(
    "PixArt-alpha/PixArt-Sigma-XL-2-1024-MS", 
    torch_dtype=weight_dtype,
    use_safetensors=True,
)
pipe.to(device)

# 启用内存优化
# pipe.enable_model_cpu_offload()

prompt = "撒哈拉沙漠中一株带着笑脸的小仙人掌。"
image = pipe(prompt).images[0]
image.save("./catcus.png")

使用torch≥2.0时，通过编译可提升20-30%推理速度：

pipe.transformer = torch.compile(pipe.transformer, mode="reduce-overhead", fullgraph=True)

显存不足时可启用CPU卸载：

- pipe.to("cuda")
+ pipe.enable_model_cpu_offload()

更多用法详见官方文档。

应用场景

直接使用

本模型仅限研究用途，适用场景包括：

• 艺术创作与设计辅助
• 教育/创意工具开发
• 生成模型研究
• 可控内容生成技术探索
• 生成模型局限性研究

非适用场景

本模型未针对人物/事件真实性进行优化，相关内容生成不属于模型设计目标。

局限性

技术限制

• 尚未实现完美照片级真实感
• 无法生成可识别文字
• 复杂组合场景（如"蓝色球体上的红色立方体"）表现欠佳
• 手指等细节生成可能异常
• 自编码模块存在信息损失

社会偏见

图像生成能力可能放大现有社会偏见，需谨慎使用。