许可证: mit

DPT 3.1 (Swinv2 骨干网络)

DPT (密集预测变换器) 模型在140万张图像上训练，用于单目深度估计。该模型由Ranftl等人在论文《密集预测的视觉变换器》（2021年）中提出，并首次发布于此代码库。

免责声明：发布DPT的团队未为此模型编写模型卡，因此本模型卡由Hugging Face团队编写。

模型描述

该DPT模型使用Swinv2模型作为骨干网络，并在其基础上添加了用于单目深度估计的颈部结构和头部结构。

使用方法

以下是如何在图像上使用此模型进行零样本深度估计的示例：

from transformers import DPTImageProcessor, DPTForDepthEstimation
import torch
import numpy as np
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = DPTImageProcessor.from_pretrained("Intel/dpt-swinv2-base-384")
model = DPTForDepthEstimation.from_pretrained("Intel/dpt-swinv2-base-384")

# 为模型准备图像
inputs = processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    predicted_depth = outputs.predicted_depth

# 插值到原始尺寸
prediction = torch.nn.functional.interpolate(
    predicted_depth.unsqueeze(1),
    size=image.size[::-1],
    mode="bicubic",
    align_corners=False,
)

# 可视化预测结果
output = prediction.squeeze().cpu().numpy()
formatted = (output * 255 / np.max(output)).astype("uint8")
depth = Image.fromarray(formatted)

或者可以使用流水线API：

from transformers import pipeline

pipe = pipeline(task="depth-estimation", model="Intel/dpt-swinv2-base-384")
result = pipe("http://images.cocodataset.org/val2017/000000039769.jpg")
result["depth"]