许可证：apache-2.0
语言：

• 英语
  任务标签：深度估计
  新版本：prs-eth/marigold-depth-v1-1
  置顶：true
  标签：
• 深度估计
• 图像分析
• 计算机视觉
• 自然场景
• 零样本

万寿菊深度模型 v1-0 说明卡

最新：万寿菊深度模型 v1-1

这是用于单目图像深度估计的 marigold-depth-v1-0 模型的说明卡。
该模型基于 stable-diffusion-2 模型 微调而成，详情请参阅我们的论文：

• CVPR'2024 论文：《重新利用基于扩散的图像生成器进行单目深度估计》
• 期刊扩展版：《万寿菊：经济高效地改造基于扩散的图像生成器用于图像分析》

使用模型

• 体验交互式 Hugging Face Spaces 演示：查看模型如何处理示例图像或上传您自己的图像。
• 使用 diffusers 通过几行代码计算结果。
• 深入了解我们的 官方代码库。

模型详情

• 开发者： Bingxin Ke、Anton Obukhov、Shengyu Huang、Nando Metzger、Rodrigo Caye Daudt、Konrad Schindler。
• 模型类型： 基于生成式潜在扩散的单目图像深度估计，具有仿射不变性。
• 语言： 英语。
• 许可证： Apache 许可证 2.0 版。
• 模型描述： 该模型可用于生成输入图像的估计深度图。
  • 分辨率： 尽管可以处理任何分辨率，但模型继承了基础扩散模型的有效分辨率，大约为 768 像素。
    这意味着，为了获得最佳预测结果，任何较大的输入图像在输入模型之前应调整大小，使较长边为 768 像素。
  • 步数和调度器： 该模型设计用于 DDIM 调度器和 10 到 50 步去噪。
    通过覆盖 调度器配置文件 中的 "timestep_spacing": "trailing" 设置，或在代码中加载管道后添加 pipe.scheduler = DDIMScheduler.from_config(pipe.scheduler.config, timestep_spacing="trailing")，可以在首次使用前仅用 一步 获得良好的预测结果。出于兼容性考虑，我们保持了此 v1-0 模型与论文设置一致，并提供了 更新的 v1-1 模型，为所有可能的步数配置提供了最优设置。
  • 输出：
    • 仿射不变深度图： 预测值介于 0 和 1 之间，插值于模型选择的近平面和远平面之间。
    • 不确定性图： 仅在集成多个预测（集成大小大于 2）时生成。
• 更多信息： 项目网站、论文、代码。
• 引用方式：

@InProceedings{ke2023repurposing,  
  title={重新利用基于扩散的图像生成器进行单目深度估计},  
  author={Bingxin Ke and Anton Obukhov and Shengyu Huang and Nando Metzger and Rodrigo Caye Daudt and Konrad Schindler},  
  booktitle={IEEE/CVF 计算机视觉与模式识别会议论文集 (CVPR)},  
  year={2024}  
}  

@misc{ke2025marigold,  
  title={万寿菊：经济高效地改造基于扩散的图像生成器用于图像分析},  
  author={Bingxin Ke and Kevin Qu and Tianfu Wang and Nando Metzger and Shengyu Huang and Bo Li and Anton Obukhov and Konrad Schindler},  
  year={2025},  
  eprint={2505.09358},  
  archivePrefix={arXiv},  
  primaryClass={cs.CV}  
}