Uni 3DAR

🚀 Uni-3DAR

Uni-3DAR是一个自回归模型，它统一了各种3D任务。该模型能够无缝处理多种3D数据类型，支持多样化任务，且在效率和准确性上表现出色，为3D领域的研究和应用提供了强大的工具。

📚 详细文档

简介

Uni-3DAR框架示意图

Uni-3DAR是一个统一各种3D任务的自回归模型。具体而言，它有以下改进：

1. 多种3D数据类型的统一处理
   尽管目前主要关注分子、蛋白质和晶体等微观结构，但该方法可以无缝应用于宏观3D结构。

2. 支持多样化任务
   Uni-3DAR在单个模型中自然支持广泛的任务，尤其适用于生成和理解任务。

3. 高效率
   它使用八叉树压缩结合提出的2级子树压缩，仅用数百个标记来表示完整的3D空间，而全尺寸网格则需要数万个标记。推理基准测试也表明，Uni-3DAR比基于扩散的模型快得多。

4. 高精度
   在八叉树压缩的基础上，Uni-3DAR进一步对细粒度的3D块进行标记化，以保持结构细节，生成质量明显优于以往基于扩散的模型。

最新消息

2025-03-21：我们已经发布了核心模型以及QM9训练和推理管道。

依赖项

• Uni-Core。为方便使用，可以使用预构建的Docker镜像：
  docker pull dptechnology/unicore:2407-pytorch2.4.0-cuda12.5-rdma

在QM9上复现结果

要使用预训练模型在QM9数据集上复现结果或从头开始训练，请按照以下说明操作。

下载预训练模型和数据集

从Hugging Face仓库下载预训练检查点 (qm9.pt) 和数据集存档 (qm9_data.tar.gz)。

使用预训练模型进行推理

使用预训练模型生成QM9分子：

bash inference_qm9.sh qm9.pt

从头开始训练

从头开始训练模型：

1. 解压数据集：

tar -xzvf qm9_data.tar.gz

2. 使用所需的数据路径和实验名称运行训练脚本：

base_dir=/your_folder_to_save/ bash train_qm9.sh ./qm9_data/ name_of_your_exp

引用

如果使用了相关数据、代码或模型，请引用我们的论文。

@article{lu2025uni3dar,
  author    = {Shuqi Lu and Haowei Lin and Lin Yao and Zhifeng Gao and Xiaohong Ji and Weinan E and Linfeng Zhang and Guolin Ke},
  title     = {Uni-3DAR: Unified 3D Generation and Understanding via Autoregression on Compressed Spatial Tokens},
  journal   = {Arxiv},
  year      = {2025},
}

📄 许可证

本项目采用MIT许可证。