license: mit

DPT 3.1 (BEiT骨干网络)

DPT（密集预测变换器）模型基于140万张图像训练，用于单目深度估计。该模型由Ranftl等人在论文《密集预测的视觉变换器》（2021年）中提出，并首次发布于此代码库。

免责声明：发布DPT的团队未为此模型编写模型卡，因此本模型卡由Hugging Face团队撰写。

模型描述

该DPT模型使用BEiT模型作为骨干网络，并在其基础上添加了用于单目深度估计的颈部与头部结构。

使用方法

以下是如何使用该模型对图像进行零样本深度估计的示例：

from transformers import DPTImageProcessor, DPTForDepthEstimation
import torch
import numpy as np
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = DPTImageProcessor.from_pretrained("Intel/dpt-beit-base-384")
model = DPTForDepthEstimation.from_pretrained("Intel/dpt-beit-base-384")

# 为模型准备图像
inputs = processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    predicted_depth = outputs.predicted_depth

# 插值至原始尺寸
prediction = torch.nn.functional.interpolate(
    predicted_depth.unsqueeze(1),
    size=image.size[::-1],
    mode="bicubic",
    align_corners=False,
)

# 可视化预测结果
output = prediction.squeeze().cpu().numpy()
formatted = (output * 255 / np.max(output)).astype("uint8")
depth = Image.fromarray(formatted)

或使用pipeline API：

from transformers import pipeline

pipe = pipeline(task="depth-estimation", model="Intel/dpt-beit-base-384")
result = pipe("http://images.cocodataset.org/val2017/000000039769.jpg")
result["depth"]