语言:

• 英文 许可证: openrail++ 任务标签: 图像到图像 库名称: diffusers 标签:
• 本征分解
• 图像分析
• 计算机视觉
• 真实场景
• 零样本 置顶: true

万寿菊本征图像分解(IID)光照v1-1模型卡

这是marigold-iid-lighting-v1-1模型的模型卡，用于单图像本征图像分解(IID)。该模型基于stable-diffusion-2模型微调而来，如我们的论文所述：

• CVPR'2024论文标题为"重新利用基于扩散的图像生成器进行单目深度估计"
• 期刊扩展版标题为"万寿菊：基于扩散的图像生成器在图像分析中的经济适用性调整"

使用模型

此模型类型(lighting)经过训练，可将图像分解为反照率、漫反射着色和非漫反射残差。这种分解与本征残差模型\(I = A*S+R\)一致，其中图像\(I\)由三通道反照率\(A\)、三通道漫反射着色分量\(S\)（表示光照颜色）和捕获非漫反射效应的加法三通道残差项\(R\)组成。输入为sRGB色彩空间，而所有输出为线性空间。如需另一种模型类型(appearance)，可将图像分解为反照率、粗糙度和金属度，请点击此处。

• 体验交互式Hugging Face Spaces演示：查看模型如何处理示例图像或上传您自己的图像。
• 使用diffusers通过几行代码计算结果。
• 通过我们的官方代码库深入了解。

模型详情

• 开发团队：Bingxin Ke、Kevin Qu、Tianfu Wang、Nando Metzger、Shengyu Huang、Bo Li、Anton Obukhov、Konrad Schindler。
• 模型类型：基于生成潜在扩散的单图像本征图像分解（光照：反照率、漫反射着色和非漫反射残差）。
• 语言：英语。
• 许可证：CreativeML Open RAIL++-M许可证。
• 模型描述：该模型可用于生成输入图像的估计本征图像分解。
  • 分辨率：虽然可以处理任何分辨率，但模型继承了基础扩散模型的有效分辨率约768像素。这意味着，为了获得最佳预测结果，任何较大的输入图像在输入模型之前应调整大小，使较长边为768像素。
  • 步骤和调度器：该模型设计用于DDIM调度器和1至50去噪步骤。
  • 输出：
    • 反照率：预测值在0到1之间，线性空间。
    • 漫反射着色：预测值在0到1之间，线性空间。
    • 非漫反射残差：预测值在0到1之间，线性空间。
    • 不确定性图：仅在集成多个预测且集成大小大于2时，为每种模态生成。
• 更多信息资源：项目网站、论文、代码。
• 引用方式：

@misc{ke2025marigold,
  title={万寿菊：基于扩散的图像生成器在图像分析中的经济适用性调整},
  author={Bingxin Ke and Kevin Qu and Tianfu Wang and Nando Metzger and Shengyu Huang and Bo Li and Anton Obukhov and Konrad Schindler},
  year={2025},
  eprint={2505.09358},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

@InProceedings{ke2023repurposing,
  title={重新利用基于扩散的图像生成器进行单目深度估计},
  author={Bingxin Ke and Anton Obukhov and Shengyu Huang and Nando Metzger and Rodrigo Caye Daudt and Konrad Schindler},
  booktitle={IEEE/CVF计算机视觉与模式识别会议论文集(CVPR)},
  year={2024}
}