库名称: hunyuan3d-2 许可证: 其他 许可证名称: 腾讯混元社区版 许可证链接: https://huggingface.co/tencent/Hunyuan3D-2/blob/main/LICENSE.txt 支持语言:

• 英文
• 中文 标签:
• 图像转3D
• 文本转3D 管道类型: 图像转3D

"让每个人的3D资产创造与操控想象成为现实"

本仓库包含论文《混元3D 2.0：面向高分辨率纹理3D资产生成的扩散模型扩展》的模型实现。代码及使用详情请参阅Github仓库。

🔥 最新动态

• 2025年1月21日：💬 发布混元3D 2.0，欢迎体验！

摘要

我们推出混元3D 2.0——一个先进的大规模3D合成系统，用于生成高分辨率带纹理的3D资产。该系统包含两大基础组件：大规模形状生成模型混元3D-DiT，以及大规模纹理合成模型混元3D-Paint。基于可扩展流式扩散Transformer构建的形状生成模型，能根据给定条件图像精准生成几何结构，为下游应用奠定坚实基础。得益于强大几何与扩散先验的纹理合成模型，可为生成或手工建模的网格生成高分辨率生动纹理贴图。此外，我们开发了混元3D-Studio——一个多功能、用户友好的生产平台，简化3D资产再造流程，让专业用户与爱好者都能高效编辑甚至动画化网格模型。系统性评估表明，混元3D 2.0在几何细节、条件对齐、纹理质量等方面均超越先前最优模型，包括开源与闭源方案。

☯️ 混元3D 2.0

架构设计

混元3D 2.0采用两阶段生成流程：首先生成基础网格，随后为该网格合成纹理贴图。该策略有效解耦形状与纹理生成难度，并为生成或手工建模的网格提供灵活的纹理处理能力。

性能表现

我们对比评估了混元3D 2.0与其他开源及闭源3D生成方案。数值结果表明，在生成纹理3D资产的质量与条件跟随能力上，混元3D 2.0全面超越基线模型。

混元3D 2.0生成效果展示：

预训练模型

🤗 快速开始使用混元3D 2.0

您可通过代码或Gradio应用按以下步骤使用混元3D 2.0。

安装要求

请通过官网安装Pytorch，然后通过以下命令安装其他依赖：

pip install -r requirements.txt
# 纹理生成组件
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh 或 python3 setup.py install (Windows系统)

API使用

我们设计了类diffusers的API来调用形状生成模型混元3D-DiT与纹理合成模型混元3D-Paint。

调用混元3D-DiT：

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

输出网格为trimesh对象，可保存为glb/obj等格式文件。

调用混元3D-Paint：

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

# 首先生成网格
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

更多高级用法（如文本转3D和手工建模网格纹理生成）请参考minimal_demo.py。

Gradio应用

您也可以通过以下命令在本地启动Gradio应用：

pip3 install gradio==3.39.0
python3 gradio_app.py

若不想本地部署，可直接访问混元3D官网快速体验。

📑 开源计划

• [x] 推理代码
• [x] 模型权重
• [x] 技术报告
• [ ] ComfyUI插件
• [ ] TensorRT版本

🔗 引用文献

若本仓库对您的研究有所帮助，请引用我们的技术报告：

@misc{hunyuan3d22025tencent,
    title={混元3D 2.0：面向高分辨率纹理3D资产生成的扩散模型扩展},
    author={腾讯混元3D团队},
    year={2025},
    eprint={2501.12202},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

@misc{yang2024tencent,
    title={腾讯混元3D-1.0：文本到3D与图像到3D生成的统一框架},
    author={腾讯混元3D团队},
    year={2024},
    eprint={2411.02293},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

社区资源

感谢社区成员的贡献，以下是混元3D 2.0的优秀扩展项目：

• ComfyUI混元3D封装器
• Windows版混元3D-2
• 📦 Windows一键运行包 | 整合包

致谢

我们感谢DINOv2、Stable Diffusion、FLUX、diffusers及HuggingFace等开源项目的研究探索。

星标历史