license: apache-2.0
tags:

• 视觉
• dinov2
• 深度估计
  inference: false

模型卡片：基于DINOv2骨干网络的DPT模型

模型详情

本模型采用DINOv2作为骨干网络的DPT（密集预测变换器）模型，其技术方案源自Oquab等人发表的论文《DINOv2: 无监督学习鲁棒视觉特征》。

DPT架构图。摘自原论文。

相关资源

• DINOv2论文
• DPT论文

Transformers调用示例

from transformers import AutoImageProcessor, DPTForDepthEstimation  
import torch  
import numpy as np  
from PIL import Image  
import requests  

url = "http://images.cocodataset.org/val2017/000000039769.jpg"  
image = Image.open(requests.get(url, stream=True).raw)  

image_processor = AutoImageProcessor.from_pretrained("facebook/dpt-dinov2-giant-nyu")  
model = DPTForDepthEstimation.from_pretrained("facebook/dpt-dinov2-giant-nyu")  

# 图像预处理  
inputs = image_processor(images=image, return_tensors="pt")  

with torch.no_grad():  
    outputs = model(**inputs)  
    predicted_depth = outputs.predicted_depth  

# 插值还原原始尺寸  
prediction = torch.nn.functional.interpolate(  
    predicted_depth.unsqueeze(1),  
    size=image.size[::-1],  
    mode="bicubic",  
    align_corners=False,  
)  

# 可视化预测结果  
output = prediction.squeeze().cpu().numpy()  
formatted = (output * 255 / np.max(output)).astype("uint8")  
depth = Image.fromarray(formatted)  

模型用途

设计用途

本模型旨在证明：采用DINOv2作为骨干网络的DPT框架能够构建强大的深度估计算法。

BibTeX引用信息

@misc{oquab2023dinov2,  
      title={DINOv2: 无监督学习鲁棒视觉特征},  
      author={Maxime Oquab等},  
      year={2023},  
      eprint={2304.07193},  
      archivePrefix={arXiv},  
      primaryClass={cs.CV}  
}