语言:

• 英文 许可证: openrail++ 任务标签: 图像到图像 库名称: diffusers 标签:
• 本征分解
• 图像分析
• 计算机视觉
• 真实场景
• 零样本 置顶: true

万寿菊本征图像分解(IID)外观v1-1模型卡

这是marigold-iid-appearance-v1-1模型的模型卡，用于单图像本征图像分解(IID)。该模型基于stable-diffusion-2模型微调，详细描述见我们的论文：

• CVPR'2024论文：《重新利用基于扩散的图像生成器进行单目深度估计》
• 期刊扩展版：《万寿菊：经济高效地改造基于扩散的图像生成器用于图像分析》

使用模型

此模型类型(appearance)训练用于将InteriorVerse图像分解为反照率和两个BRDF材质属性：粗糙度和金属度。输入图像和输出反照率均采用sRGB色彩空间。如需分解为反照率、漫反射着色和非漫反射残差的替代模型类型(lighting)，请点击此处。

• 体验交互式Hugging Face Spaces演示：查看模型如何处理示例图像或上传您自己的图像。
• 使用diffusers通过几行代码计算结果。
• 通过我们的官方代码库深入了解。

模型详情

• 开发团队：柯秉新、曲凯文、王天夫、Nando Metzger、黄晟宇、李博、Anton Obukhov、Konrad Schindler。
• 模型类型：基于生成式潜在扩散的单图像本征分解（外观：反照率、粗糙度和金属度）。
• 语言：英语。
• 许可证：CreativeML Open RAIL++-M许可证。
• 模型描述：该模型可用于生成输入图像的本征分解估计。
  • 分辨率：虽然可以处理任意分辨率，但模型继承了基础扩散模型约768像素的有效分辨率。为获得最佳预测效果，较大输入图像应调整尺寸使长边为768像素。
  • 步数与调度器：该模型设计用于DDIM调度器和1至50去噪步数。
  • 输出：
    • 反照率：预测值范围0到1，sRGB色彩空间。
    • 粗糙度与金属度：预测值范围0到1，线性色彩空间。
    • 不确定性图：仅当集成预测数量大于2时，为每种模态生成。
• 更多信息：项目网站、论文、代码。
• 引用方式：

@misc{ke2025marigold,
  title={万寿菊：经济高效地改造基于扩散的图像生成器用于图像分析},
  author={柯秉新 and 曲凯文 and 王天夫 and Nando Metzger and 黄晟宇 and 李博 and Anton Obukhov and Konrad Schindler},
  year={2025},
  eprint={2505.09358},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

@InProceedings{ke2023repurposing,
  title={重新利用基于扩散的图像生成器进行单目深度估计},
  author={柯秉新 and Anton Obukhov and 黄晟宇 and Nando Metzger and Rodrigo Caye Daudt and Konrad Schindler},
  booktitle={IEEE/CVF计算机视觉与模式识别会议论文集(CVPR)},
  year={2024}
}