库名称: hunyuan3d-2
许可证类型: 其他
许可证名称: 腾讯混元社区版
许可证链接: https://huggingface.co/tencent/Hunyuan3D-2/blob/main/LICENSE.txt
支持语言:
- 英文
- 中文
技术标签:
- 图像转3D
- 文本转3D
流程标签: 图像转3D
"让每个人的3D资产创造与操控想象成为现实"
本代码库包含论文《混元3D 2.0:面向高分辨率纹理3D资产生成的扩散模型规模化实践》的模型实现。使用说明详见GitHub仓库。
🔥 最新动态
摘要
我们推出混元3D 2.0——一个先进的大规模3D合成系统,专为生成高分辨率带纹理3D资产而设计。该系统包含两大核心组件:大规模形状生成模型Hunyuan3D-DiT,以及大规模纹理合成模型Hunyuan3D-Paint。基于可扩展流式扩散Transformer构建的形状生成模型,能根据条件图像精准生成几何结构;而受益于强大几何与扩散先验的纹理模型,可为生成或手工建模的网格生成高分辨率生动纹理。我们还开发了混元3D-Studio——多功能用户友好生产平台,支持专业与非专业用户高效编辑甚至动画化网格资产。系统评估表明,混元3D 2.0在几何细节、条件对齐、纹理质量等方面全面超越现有开源与闭源方案。
☯️ 混元3D 2.0
架构设计
采用两阶段生成流程:首先生成基础网格,随后合成纹理贴图。该策略有效解耦形状与纹理生成难度,并支持对生成/手工网格的灵活纹理映射。
性能表现
与开源及闭源方案对比测试显示,混元3D 2.0在生成质量与条件跟随能力上全面领先:
模型 |
CMMD(⬇) |
FID_CLIP(⬇) |
FID(⬇) |
CLIP分数(⬆) |
顶尖开源模型1 |
3.591 |
54.639 |
289.287 |
0.787 |
顶尖闭源模型1 |
3.600 |
55.866 |
305.922 |
0.779 |
顶尖闭源模型2 |
3.368 |
49.744 |
294.628 |
0.806 |
顶尖闭源模型3 |
3.218 |
51.574 |
295.691 |
0.799 |
混元3D 2.0 |
3.193 |
49.165 |
282.429 |
0.809 |
生成效果展示:
预训练模型
模型 |
发布日期 |
Huggingface地址 |
Hunyuan3D-DiT-v2-0 |
2025-01-21 |
下载 |
Hunyuan3D-Paint-v2-0 |
2025-01-21 |
下载 |
Hunyuan3D-Delight-v2-0 |
2025-01-21 |
下载 |
🤗 快速开始
环境安装
通过PyTorch官网安装后,执行:
pip install -r requirements.txt
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh 或 python3 setup.py install (Windows系统)
API调用
提供类diffusers的API接口:
形状生成:
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]
纹理合成:
from hy3dgen.texgen import Hunyuan3DPaintPipeline
pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
textured_mesh = pipeline(mesh, image='assets/demo.png')
高级用法详见minimal_demo.py。
可视化应用
本地启动Gradio界面:
pip3 install gradio==3.39.0
python3 gradio_app.py
或直接访问混元3D官网在线体验。
📑 开源计划
- [x] 推理代码
- [x] 模型权重
- [x] 技术报告
- [ ] ComfyUI插件
- [ ] TensorRT版本
🔗 引用
若使用本工作,请引用:
@misc{hunyuan3d22025tencent,
title={混元3D 2.0:面向高分辨率纹理3D资产生成的扩散模型规模化实践},
author={腾讯混元3D团队},
year={2025},
eprint={2501.12202},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
社区资源
特别感谢社区成员的贡献:
致谢
感谢DINOv2、Stable Diffusion、FLUX、diffusers及HuggingFace等开源项目的前沿探索。
项目星标历史