library_name: diffusers license: mit pipeline_tag: unconditional-image-generation

无需向量量化的自回归图像生成

简介

本模型（MAR）提出了一种创新的自回归图像生成方法，通过消除向量量化的需求实现突破。模型采用连续值空间运作，利用扩散过程对每个标记的概率分布进行建模，而非依赖离散标记。通过引入扩散损失函数，该模型在保持自回归序列建模速度优势的同时，实现了高效且高质量的图像生成。这种方法简化了生成流程，使其能拓展至图像合成之外的更广泛连续值领域。技术基于此论文实现。

使用方法

可通过Hugging Face的DiffusionPipeline轻松加载模型，并支持自定义模型类型、步数和类别标签等参数：

from diffusers import DiffusionPipeline

# 加载预训练模型
pipeline = DiffusionPipeline.from_pretrained("jadechoghari/mar", trust_remote_code=True, custom_pipeline="jadechoghari/mar")

# 使用模型生成图像
generated_image = pipeline(
    model_type="mar_huge",  # 可选'mar_base'、'mar_large'或'mar_huge'
    seed=42,                # 设置随机种子保证可复现性
    num_ar_steps=64,        # 自回归步数
    class_labels=[207, 360, 388],  # 提供有效的ImageNet类别标签
    cfg_scale=4,            # 分类器自由引导尺度
    output_dir="./images",   # 图像输出目录
    cfg_schedule = "constant", # 选择'constant'(推荐)或'linear'模式
)

# 展示生成图像
generated_image.show()

该代码将加载模型并配置生成参数，输出结果将保存至指定目录。

我们提供三种预训练MAR模型（safetensors格式）：

• mar-base.safetensors
• mar-large.safetensors
• mar-huge.safetensors

本实现是论文《无需向量量化的自回归图像生成》的Hugging Face Diffusers/GPU版本。

官方PyTorch实现发布于此代码库

@article{li2024autoregressive,
  title={Autoregressive Image Generation without Vector Quantization},
  author={Li, Tianhong and Tian, Yonglong and Li, He and Deng, Mingyang and He, Kaiming},
  journal={arXiv preprint arXiv:2406.11838},
  year={2024}
}

致谢

感谢Congyue Deng和Xinlei Chen的宝贵讨论，感谢Google TPU Research Cloud (TRC)提供的TPU资源支持，以及Google Cloud Platform的GPU资源支持。

本代码库大量实现基于MAE、MAGE和DiT项目。

联系

如有疑问，欢迎通过邮件(tianhong@mit.edu)联系。祝使用愉快！