库名称: hunyuan3d-2
许可证: 其他
许可证名称: 腾讯混元社区协议
许可证链接: https://huggingface.co/tencent/Hunyuan3D-2/blob/main/LICENSE.txt
支持语言:
- 英文
- 中文
标签:
- 图像转3D
- 文本转3D
管道标签: 图像转3D
"让每个人的3D资产创作与操控想象成为现实"
本仓库包含论文《混元3D 2.0:面向高分辨率纹理3D资产生成的扩散模型规模化实践》的模型实现。代码及使用详情请参阅GitHub仓库。
🔥 最新动态
摘要
我们推出混元3D 2.0——一个先进的大规模3D合成系统,用于生成高分辨率带纹理的3D资产。该系统包含两大核心组件:大规模形状生成模型混元3D-DiT,以及大规模纹理合成模型混元3D-Paint。基于可扩展流式扩散Transformer构建的形状生成模型,能根据给定条件图像精准生成几何结构,为下游应用奠定基础。得益于强大几何与扩散先验的纹理合成模型,可为生成或手工建模的网格生成高分辨率生动纹理贴图。此外,我们搭建了混元3D-Studio——一个多功能、用户友好的生产平台,简化3D资产再造流程,让专业用户与爱好者都能高效编辑甚至动画化模型。系统评估表明,混元3D 2.0在几何细节、条件对齐、纹理质量等方面均超越此前最优模型(包括开源与闭源方案)。
☯️ 混元3D 2.0
架构设计
采用两阶段生成流程:首先生成基础网格,随后合成纹理贴图。该策略有效解耦形状与纹理生成难度,并支持为生成/手工模型灵活添加纹理。
性能表现
对比评测显示,混元3D 2.0在生成质量与条件跟随能力上全面领先:
模型 |
CMMD(⬇) |
FID_CLIP(⬇) |
FID(⬇) |
CLIP分数(⬆) |
顶尖开源模型1 |
3.591 |
54.639 |
289.287 |
0.787 |
顶尖闭源模型1 |
3.600 |
55.866 |
305.922 |
0.779 |
顶尖闭源模型2 |
3.368 |
49.744 |
294.628 |
0.806 |
顶尖闭源模型3 |
3.218 |
51.574 |
295.691 |
0.799 |
混元3D 2.0 |
3.193 |
49.165 |
282.429 |
0.809 |
生成效果展示:
预训练模型
模型 |
发布日期 |
Huggingface地址 |
混元3D-DiT-v2-0 |
2025-01-21 |
下载 |
混元3D-Paint-v2-0 |
2025-01-21 |
下载 |
混元3D-Delight-v2-0 |
2025-01-21 |
下载 |
🤗 快速开始
可通过代码或Gradio应用体验混元3D 2.0。
环境安装
通过官网安装PyTorch后,执行:
pip install -r requirements.txt
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh 或 python3 setup.py install (Windows系统)
API调用
我们提供类diffusers的API接口:
形状生成(混元3D-DiT):
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]
纹理合成(混元3D-Paint):
from hy3dgen.texgen import Hunyuan3DPaintPipeline
pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')
进阶用法(如文本转3D、手工模型贴图)请参考minimal_demo.py。
Gradio应用
本地启动交互界面:
pip3 install gradio==3.39.0
python3 gradio_app.py
也可直接访问混元3D官网在线体验。
📑 开源计划
- [x] 推理代码
- [x] 模型权重
- [x] 技术报告
- [ ] ComfyUI插件
- [ ] TensorRT版本
🔗 引用
若本项目对您有帮助,请引用:
@misc{hunyuan3d22025tencent,
title={混元3D 2.0:面向高分辨率纹理3D资产生成的扩散模型规模化实践},
author={腾讯混元3D团队},
year={2025},
eprint={2501.12202},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
@misc{yang2024tencent,
title={腾讯混元3D-1.0:文本/图像到3D生成的统一框架},
author={腾讯混元3D团队},
year={2024},
eprint={2411.02293},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
社区资源
特别感谢社区成员的贡献:
致谢
感谢DINOv2、Stable Diffusion、FLUX、diffusers及HuggingFace等开源项目的贡献者。
星标历史