语言:

• 英文 许可证: Apache-2.0 任务标签: 图像到图像 库名称: diffusers 标签:
• 法线估计
• 图像分析
• 计算机视觉
• 真实场景
• 零样本 新版本: prs-eth/marigold-normals-v1-1

Marigold法线估计v0-1模型卡

此模型已弃用。请使用新的Marigold法线估计v1-1模型。

新版本: Marigold法线估计v1-1模型

这是marigold-normals-v0-1模型的模型卡，用于从单张图像进行单目法线估计。该模型基于stable-diffusion-2模型微调而来，如我们的论文所述：

• CVPR'2024论文标题为"Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation"
• 期刊扩展版标题为"Marigold: Affordable Adaptation of Diffusion-Based Image Generators for Image Analysis"

使用模型

• 体验交互式Hugging Face Spaces演示：查看模型如何处理示例图像或上传您自己的图像。
• 使用diffusers通过几行代码计算结果。
• 通过我们的官方代码库深入了解细节。

模型详情

• 开发者: Bingxin Ke, Kevin Qu, Tianfu Wang, Nando Metzger, Shengyu Huang, Bo Li, Anton Obukhov, Konrad Schindler.
• 模型类型: 基于生成式潜在扩散的单目图像法线估计。
• 语言: 英文。
• 许可证: Apache License Version 2.0.
• 模型描述: 该模型可用于生成输入图像的估计表面法线图。
  • 分辨率: 虽然可以处理任何分辨率，但模型继承了基础扩散模型的有效分辨率约768像素。这意味着为了获得最佳预测结果，任何较大的输入图像在输入模型前应调整大小，使较长边为768像素。
  • 步骤和调度器: 该模型设计用于DDIM调度器和10至50去噪步骤。
  • 输出:
    • 表面法线图: 预测值为屏幕空间相机中的三维单位向量。
    • 不确定性图: 仅当使用大于2的集成规模进行多次预测时生成。
• 更多信息资源: 项目网站, 论文, 代码.
• 引用方式:

@misc{ke2025marigold,
  title={Marigold: Affordable Adaptation of Diffusion-Based Image Generators for Image Analysis},
  author={Bingxin Ke and Kevin Qu and Tianfu Wang and Nando Metzger and Shengyu Huang and Bo Li and Anton Obukhov and Konrad Schindler},
  year={2025},
  eprint={2505.09358},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

@InProceedings{ke2023repurposing,
  title={Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation},
  author={Bingxin Ke and Anton Obukhov and Shengyu Huang and Nando Metzger and Rodrigo Caye Daudt and Konrad Schindler},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}