许可协议: apache-2.0
标签:

• 视觉
• 深度估计

微件示例:

• 图片链接: https://huggingface.co/datasets/mishig/sample_images/resolve/main/tiger.jpg
  示例标题: 老虎
• 图片链接: https://huggingface.co/datasets/mishig/sample_images/resolve/main/teapot.jpg
  示例标题: 茶壶
• 图片链接: https://huggingface.co/datasets/mishig/sample_images/resolve/main/palace.jpg
  示例标题: 宫殿

模型索引:

• 名称: dpt-hybrid-midas
  结果:
  • 任务:
    类型: 单目深度估计
    名称: 单目深度估计
    数据集:
    类型: MIX-6
    名称: MIX-6
    指标:
    • 类型: 零样本迁移
      值: 11.06
      名称: 零样本迁移
      配置: 零样本迁移
      已验证: false

模型详情: DPT-Hybrid (又称MiDaS 3.0)

密集预测变换器(DPT)模型，基于140万张图像训练用于单目深度估计。
该模型由Ranftl等人在论文《密集预测的视觉变换器》中提出(2021年)，并首次发布于此代码库。
DPT使用视觉变换器(ViT)作为主干网络，并添加颈部+头部结构进行单目深度估计。

本仓库托管论文中所述的"混合"版本模型。DPT-Hybrid与DPT的区别在于使用ViT-hybrid作为主干网络并从主干获取部分激活值。

本模型卡由Hugging Face团队与英特尔共同编写。

使用方法

以下是如何使用该模型对图像进行零样本深度估计的示例：

from PIL import Image
import numpy as np
import requests
import torch

from transformers import DPTImageProcessor, DPTForDepthEstimation

image_processor = DPTImageProcessor.from_pretrained("Intel/dpt-hybrid-midas")
model = DPTForDepthEstimation.from_pretrained("Intel/dpt-hybrid-midas", low_cpu_mem_usage=True)

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

# 为模型准备图像
inputs = image_processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    predicted_depth = outputs.predicted_depth

# 插值到原始尺寸
prediction = torch.nn.functional.interpolate(
    predicted_depth.unsqueeze(1),
    size=image.size[::-1],
    mode="bicubic",
    align_corners=False,
)

# 可视化预测结果
output = prediction.squeeze().cpu().numpy()
formatted = (output * 255 / np.max(output)).astype("uint8")
depth = Image.fromarray(formatted)
depth.show()

更多代码示例请参阅文档。

定量分析

表1. 与单目深度估计领域最新技术的比较。我们按照[30]中定义的协议评估零样本跨数据集迁移性能。相对性能是相对于原始MiDaS模型[30]计算的。所有指标都是越低越好。(Ranftl等人，2021)

BibTeX引用信息

@article{DBLP:journals/corr/abs-2103-13413,
  author    = {Ren{\'{e}} Ranftl and
               Alexey Bochkovskiy and
               Vladlen Koltun},
  title     = {Vision Transformers for Dense Prediction},
  journal   = {CoRR},
  volume    = {abs/2103.13413},
  year      = {2021},
  url       = {https://arxiv.org/abs/2103.13413},
  eprinttype = {arXiv},
  eprint    = {2103.13413},
  timestamp = {Wed, 07 Apr 2021 15:31:46 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2103-13413.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}