许可证: apple-ascl
基础模型:

• apple/DepthPro
  库名称: transformers.js
  任务标签: 深度估计

https://huggingface.co/apple/DepthPro 包含ONNX权重，兼容Transformers.js。

使用方式 (Transformers.js)

如果尚未安装，可通过NPM安装Transformers.js JavaScript库：

npm i @huggingface/transformers

import { AutoProcessor, AutoModelForDepthEstimation, RawImage } from "@huggingface/transformers";

// 加载模型和处理器
const depth = await AutoModelForDepthEstimation.from_pretrained("onnx-community/DepthPro-ONNX", { dtype: "q4" });
const processor = await AutoProcessor.from_pretrained("onnx-community/DepthPro-ONNX");

// 读取并准备图像
const image = await RawImage.read("https://raw.githubusercontent.com/huggingface/transformers.js-examples/main/depth-pro-node/assets/image.jpg");
const inputs = await processor(image);

// 运行深度估计模型
const { predicted_depth, focallength_px } = await depth(inputs);

// 将深度图归一化至[0, 1]范围
const depth_map_data = predicted_depth.data;
let minDepth = Infinity;
let maxDepth = -Infinity;
for (let i = 0; i < depth_map_data.length; ++i) {
  minDepth = Math.min(minDepth, depth_map_data[i]);
  maxDepth = Math.max(maxDepth, depth_map_data[i]);
}
const depth_tensor = predicted_depth
  .sub_(minDepth)
  .div_(-(maxDepth - minDepth)) // 为可视化效果反转数值
  .add_(1)
  .clamp_(0, 1)
  .mul_(255)
  .round_()
  .to("uint8");

// 保存深度图
const depth_image = RawImage.fromTensor(depth_tensor);
depth_image.save("depth.png");

以下图像展示了输入图片及模型生成的对应深度图：

输入图像	深度图

注：为ONNX权重单独建立仓库是临时方案，待WebML技术更普及后将调整。如需使模型适配Web，建议使用🤗 Optimum转换为ONNX格式，并参照本仓库结构（ONNX权重存放在onnx子文件夹中）。