library_name: hunyuan3d-2 license: other license_name: tencent-hunyuan-community license_link: https://huggingface.co/tencent/Hunyuan3D-2/blob/main/LICENSE.txt language:

• en
• zh tags:
• image-to-3d
• text-to-3d pipeline_tag: image-to-3d

"让每个人的3D资产创作与操控想象成为现实"

本仓库包含论文《混元3D 2.0：面向高分辨率纹理3D资产生成的扩散模型规模化实践》的模型实现。具体使用方法和代码详见GitHub仓库。

📢 最新动态

• 2025年1月21日：🎉 正式发布混元3D 2.0，欢迎体验！

摘要

我们推出混元3D 2.0——一个先进的大规模3D合成系统，用于生成高分辨率带纹理的3D资产。该系统包含两大基础组件：大规模形状生成模型Hunyuan3D-DiT，以及大规模纹理合成模型Hunyuan3D-Paint。基于可扩展流形扩散Transformer构建的形状生成模型，能创建与给定条件图像精准对齐的几何体，为下游应用奠定基础。得益于强大几何与扩散先验的纹理合成模型，可为生成或手工建模的网格生成高分辨率生动纹理贴图。此外，我们搭建了混元3D-Studio——一个多功能、用户友好的生产平台，简化3D资产再造流程，让专业用户与爱好者都能高效编辑甚至动画化网格模型。系统评估表明，混元3D 2.0在几何细节、条件对齐、纹理质量等方面均超越此前最优模型（包括开源与闭源方案）。

🌟 混元3D 2.0

架构设计

混元3D 2.0采用两阶段生成流程：首先生成基础网格，随后为该网格合成纹理贴图。该策略有效解耦形状与纹理生成难度，并为生成网格或手工建模网格提供灵活的纹理解决方案。

性能表现

我们对比评估了混元3D 2.0与其他开源及闭源3D生成方案。数值结果表明，在生成带纹理3D资产的质量与条件跟随能力上，混元3D 2.0全面超越基线模型。

混元3D 2.0生成效果展示：

预训练模型

🚀 快速上手混元3D 2.0

您可通过代码或Gradio应用两种方式使用混元3D 2.0。

环境安装

请通过官网安装Pytorch，随后通过以下命令安装其他依赖：

pip install -r requirements.txt
# 纹理生成依赖
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh 或 python3 setup.py install (Windows系统)

API调用

我们设计了类diffusers的API来调用形状生成模型Hunyuan3D-DiT与纹理合成模型Hunyuan3D-Paint。

调用Hunyuan3D-DiT：

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

输出网格为trimesh对象，可保存为glb/obj等格式。

调用Hunyuan3D-Paint：

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

# 首先生成网格
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

更多高级用法（如文本生成3D和手工建模网格纹理生成）请参考minimal_demo.py。

Gradio应用

您也可以通过以下命令在本地启动Gradio应用：

pip3 install gradio==3.39.0
python3 gradio_app.py

若不想本地部署，可直接访问混元3D官网快速体验。

📅 开源计划

• [x] 推理代码
• [x] 模型权重
• [x] 技术报告
• [ ] ComfyUI插件
• [ ] TensorRT版本

📜 引用文献

若本仓库对您的研究有所帮助，请引用我们的技术报告：

@misc{hunyuan3d22025tencent,
    title={混元3D 2.0：面向高分辨率纹理3D资产生成的扩散模型规模化实践},
    author={腾讯混元3D团队},
    year={2025},
    eprint={2501.12202},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

@misc{yang2024tencent,
    title={腾讯混元3D-1.0：统一文本生成3D与图像生成3D框架},
    author={腾讯混元3D团队},
    year={2024},
    eprint={2411.02293},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

社区资源

感谢社区成员的贡献，以下是混元3D 2.0的优秀扩展：

• ComfyUI混元3D插件
• Windows版混元3D-2
• 🎁 Windows运行套件 | 一键安装包

致谢

我们要感谢DINOv2、Stable Diffusion、FLUX、diffusers及HuggingFace等开源项目的贡献者，他们的研究探索为我们奠定了基础。

星标历史