语言:

• 英文 许可证: Apache-2.0 任务标签: 图像到图像 库名称: diffusers 标签:
• 法线估计
• 潜在一致性模型
• 图像分析
• 计算机视觉
• 自然场景
• 零样本 新版本: prs-eth/marigold-normals-v1-1

Marigold 法线 LCM v0-1 模型卡

此模型已弃用。请使用新的 Marigold 法线 v1-1 模型。

新版本: Marigold 法线 v1-1 模型

这是 marigold-normals-lcm-v0-1 模型的模型卡，用于从单张图像进行单目法线估计。该模型基于 marigold-normals-v0-1 模型 使用潜在一致性蒸馏方法微调而成，如我们的论文所述：

• CVPR'2024 论文 标题为“重新利用基于扩散的图像生成器进行单目深度估计”
• 期刊扩展版 标题为“Marigold：基于扩散的图像生成器在图像分析中的经济适用性调整”

使用模型

• 体验交互式 Hugging Face Spaces 演示：查看模型如何处理示例图像或上传您自己的图像。
• 使用 diffusers 只需几行代码即可计算结果。
• 深入了解我们的 官方代码库。

模型详情

• 开发者: Bingxin Ke、Kevin Qu、Tianfu Wang、Nando Metzger、Shengyu Huang、Bo Li、Anton Obukhov、Konrad Schindler。
• 模型类型: 基于生成潜在扩散的单张图像法线估计。
• 语言: 英文。
• 许可证: Apache 许可证 2.0 版。
• 模型描述: 该模型可用于生成输入图像的估计表面法线图。
  • 分辨率: 尽管可以处理任何分辨率，但模型继承了基础扩散模型的有效分辨率约 768 像素。这意味着，为了获得最佳预测结果，任何较大的输入图像应在输入模型前调整大小，使较长边为 768 像素。
  • 步骤和调度器: 该模型设计用于与 LCM 调度器配合使用，并在 1 到 4 次去噪步骤之间运行。
  • 输出:
    • 表面法线图: 预测值为屏幕空间相机中的三维单位向量。
    • 不确定性图: 仅在集成多个预测且集成大小大于 2 时生成。
• 更多信息资源: 项目网站、论文、代码。
• 引用方式:

@misc{ke2025marigold,
  title={Marigold: Affordable Adaptation of Diffusion-Based Image Generators for Image Analysis},
  author={Bingxin Ke and Kevin Qu and Tianfu Wang and Nando Metzger and Shengyu Huang and Bo Li and Anton Obukhov and Konrad Schindler},
  year={2025},
  eprint={2505.09358},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

@InProceedings{ke2023repurposing,
  title={Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation},
  author={Bingxin Ke and Anton Obukhov and Shengyu Huang and Nando Metzger and Rodrigo Caye Daudt and Konrad Schindler},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}