license: apple-amlr pipeline_tag: depth-estimation library_name: depth-pro

Depth Pro：亚秒级精准单目测距深度模型

我们推出了一款零样本单目测距深度估计基础模型。该模型Depth Pro能合成具有无与伦比锐度与高频细节的高分辨率深度图，其预测结果自带绝对尺度且无需依赖相机内参等元数据。在标准GPU上仅需0.3秒即可生成225万像素的深度图，这得益于多项技术创新：包括用于密集预测的高效多尺度视觉Transformer、结合真实与合成数据的训练方案（在实现高精度测距的同时保持精细边界追踪）、专为深度图边界精度设计的评估指标，以及从单幅图像估计焦距的尖端技术。

本模型由Aleksei Bochkovskii, Amaël Delaunoy, Hugo Germain, Marcel Santos, Yichao Zhou, Stephan R. Richter与Vladlen Koltun在论文**Depth Pro：亚秒级精准单目测距深度模型**中提出。

本仓库提供的检查点为参考实现版本（经重新训练），其性能接近但未完全达到论文报告水平。

使用指南

请按照代码仓库说明配置环境，可通过上方"Files and versions"标签页下载检查点，或使用huggingface-hub命令行工具：

pip install huggingface-hub
huggingface-cli download --local-dir checkpoints apple/DepthPro

命令行运行

代码库提供单图预测辅助脚本：

# 单图预测：
depth-pro-run -i ./data/example.jpg
# 运行`depth-pro-run -h`查看可选参数

Python调用

from PIL import Image
import depth_pro

# 加载模型与预处理
model, transform = depth_pro.create_model_and_transforms()
model.eval()

# 载入并预处理图像
image, _, f_px = depth_pro.load_rgb(image_path)
image = transform(image)

# 执行推理
prediction = model.infer(image, f_px=f_px)
depth = prediction["depth"]  # 单位：米
focallength_px = prediction["focallength_px"]  # 单位：像素

边界精度评估

边界评估指标实现在eval/boundary_metrics.py中，调用示例如下：

# 深度数据集评估
boundary_f1 = SI_boundary_F1(predicted_depth, target_depth)

# 掩膜数据集评估（图像抠图/分割）
boundary_recall = SI_boundary_Recall(predicted_depth, target_mask)

引用文献

若使用本成果，请引用：

@article{Bochkovskii2024:arxiv,
  author     = {Aleksei Bochkovskii and Ama\"{e}l Delaunoy and Hugo Germain and Marcel Santos and
               Yichao Zhou and Stephan R. Richter and Vladlen Koltun}
  title      = {Depth Pro: Sharp Monocular Metric Depth in Less Than a Second},
  journal    = {arXiv},
  year       = {2024},
}

致谢

本代码库整合了多项开源成果，详见致谢列表。完整参考文献及数据集请参阅论文。