library_name: diffusers license: mit pipeline_tag: unconditional-image-generation

无需向量量化的自回归图像生成

关于

本模型（MAR）提出了一种创新的自回归图像生成方法，通过消除向量量化的需求实现突破。 不同于依赖离散标记的传统方式，该模型在连续值空间中运行，利用扩散过程对每个标记的概率分布进行建模。 通过采用扩散损失函数，该模型在保持自回归序列建模速度优势的同时，实现了高效且高质量的图像生成。 这种方法简化了生成流程，使其可拓展至图像合成之外更广泛的连续值领域。 本模型基于这篇论文

使用方法：

您可以通过Hugging Face的DiffusionPipeline轻松加载模型，并可自定义模型类型、步数和类别标签等参数。

from diffusers import DiffusionPipeline

# 加载预训练模型
pipeline = DiffusionPipeline.from_pretrained("jadechoghari/mar", trust_remote_code=True, custom_pipeline="jadechoghari/mar")

# 使用模型生成图像
generated_image = pipeline(
    model_type="mar_huge",  # 可选'mar_base'、'mar_large'或'mar_huge'
    seed=42,                # 设置随机种子确保可复现性
    num_ar_steps=64,        # 自回归步数
    class_labels=[207, 360, 388],  # 提供有效的ImageNet类别标签
    cfg_scale=4,            # 分类器无关引导尺度
    output_dir="./images",   # 图像保存目录
    cfg_schedule = "constant", # 选择'constant'(推荐)或'linear'
)

# 展示生成图像
generated_image.show()

这段代码将加载模型，配置图像生成参数，并将输出保存至指定目录。

我们提供三种预训练MAR模型（safetensors格式）：

• mar-base.safetensors
• mar-large.safetensors
• mar-huge.safetensors

这是论文《无需向量量化的自回归图像生成》的Hugging Face Diffusers/GPU实现版本

官方PyTorch实现已发布于该代码库

@article{li2024autoregressive,
  title={Autoregressive Image Generation without Vector Quantization},
  author={Li, Tianhong and Tian, Yonglong and Li, He and Deng, Mingyang and He, Kaiming},
  journal={arXiv preprint arXiv:2406.11838},
  year={2024}
}

致谢

感谢Congyue Deng和Xinlei Chen富有建设性的讨论。感谢Google TPU Research Cloud (TRC)提供TPU资源支持，以及Google Cloud Platform的GPU资源支持。

本代码库大量实现基于MAE、MAGE和DiT项目。

联系

如有任何疑问，欢迎通过邮件联系(tianhong@mit.edu)。祝使用愉快！