许可协议：Apache-2.0

标签：

• 图像转3D

PRM模型

PRM：基于光度立体视觉的大规模重建模型的技术文档。

代码仓库：https://github.com/g3956/PRM

论文链接：http://arxiv.org/abs/2412.07371

演示平台：https://huggingface.co/spaces/LTT/PRM

我们提出PRM——一种基于光度立体视觉的新型大规模重建模型，能够重建具有精细局部细节的高质量网格模型。与以往采用固定简单光照图像作为输入和监督信号的大型重建模型不同，PRM通过动态调整材质和光照来渲染光度立体图像，这种设计不仅通过提供丰富的光度线索提升了局部细节精度，还增强了模型对输入图像外观变化的鲁棒性。为实现更灵活的实时图像渲染，我们整合了实时渲染技术和网格光栅化方法进行在线图像生成。此外，PRM采用显式网格作为三维表征方式，确保可微分PBR（基于物理的渲染）的应用，从而支持多重光度监督并更精准地模拟高光色彩以实现优质几何优化。实验表明，PRM即使在复杂图像外观条件下，也能通过光度立体图像实现具有精细局部细节的高质量重建，其性能显著优于其他同类模型。