语言:

• 英文 许可证: openrail++ 任务标签: 图像到图像 库名称: diffusers 标签:
• 法线估计
• 图像分析
• 计算机视觉
• 自然场景
• 零样本 置顶: true

Marigold 法线估计模型 v1-1 说明卡

这是marigold-normals-v1-1模型的说明卡，该模型用于从单张图像进行单目法线估计。该模型基于stable-diffusion-2模型微调而来，相关论文如下：

• CVPR'2024论文：《重新利用基于扩散的图像生成器进行单目深度估计》
• 期刊扩展版：《Marigold：经济高效地改造基于扩散的图像生成器用于图像分析》

使用模型

• 体验交互式Hugging Face Spaces演示：查看模型如何处理示例图像或上传您自己的图像。
• 使用diffusers通过几行代码计算结果。
• 深入了解我们的官方代码库。

模型详情

• 开发团队：Bingxin Ke、Kevin Qu、Tianfu Wang、Nando Metzger、Shengyu Huang、Bo Li、Anton Obukhov、Konrad Schindler。
• 模型类型：基于生成式潜在扩散的单张图像法线估计。
• 语言：英语。
• 许可证：CreativeML Open RAIL++-M License。
• 模型描述：该模型可用于生成输入图像的估计表面法线图。
  • 分辨率：虽然可以处理任何分辨率，但模型继承了基础扩散模型约768像素的有效分辨率。这意味着，为了获得最佳预测结果，任何较大的输入图像在输入模型前应调整大小，使较长边为768像素。
  • 步骤和调度器：该模型设计用于DDIM调度器和1至50去噪步骤。
  • 输出：
    • 表面法线图：预测值为屏幕空间相机中的三维单位向量。
    • 不确定性图：仅在集成多个预测且集成大小大于2时生成。
• 更多信息：项目网站、论文、代码。
• 引用方式：

@misc{ke2025marigold,
  title={Marigold: Affordable Adaptation of Diffusion-Based Image Generators for Image Analysis},
  author={Bingxin Ke and Kevin Qu and Tianfu Wang and Nando Metzger and Shengyu Huang and Bo Li and Anton Obukhov and Konrad Schindler},
  year={2025},
  eprint={2505.09358},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

@InProceedings{ke2023repurposing,
  title={Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation},
  author={Bingxin Ke and Anton Obukhov and Shengyu Huang and Nando Metzger and Rodrigo Caye Daudt and Konrad Schindler},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}