基础模型：facebook/sam-vit-large
库名称：transformers.js

适配 https://huggingface.co/facebook/sam-vit-large 的ONNX权重版本，以兼容Transformers.js。

使用指南（Transformers.js）

若尚未安装，可通过NPM安装Transformers.js JavaScript库：

npm i @huggingface/transformers

示例： 使用Xenova/sam-vit-large生成掩模。

import { SamModel, AutoProcessor, RawImage } from "@huggingface/transformers";

// 加载模型与处理器
const model = await SamModel.from_pretrained("Xenova/sam-vit-large");
const processor = await AutoProcessor.from_pretrained("Xenova/sam-vit-large");

// 准备图像和输入点
const img_url = "https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/corgi.jpg";
const raw_image = await RawImage.read(img_url);
const input_points = [[[340, 250]]];

// 处理输入并生成掩模
const inputs = await processor(raw_image, { input_points });
const outputs = await model(inputs);

// 后处理掩模
const masks = await processor.post_process_masks(outputs.pred_masks, inputs.original_sizes, inputs.reshaped_input_sizes);
console.log(masks);
// [
//   Tensor {
//     dims: [ 1, 3, 410, 614 ],
//     type: 'bool',
//     data: Uint8Array(755220) [ ... ],
//     size: 755220
//   }
// ]
const scores = outputs.iou_scores;
console.log(scores);
// Tensor {
//   dims: [ 1, 1, 3 ],
//   type: 'float32',
//   data: Float32Array(3) [
//     1.0122944116592407,
//     0.9184409976005554,
//     0.9796935319900513
//   ],
//   size: 3
// }

可通过以下代码可视化生成的掩模：

const image = RawImage.fromTensor(masks[0][0].mul(255));
image.save('mask.png');

接着选择IoU分数最高的通道（本例为红色第一通道），与原图叠加即可获得目标主体分离效果：

在线演示

我们还提供了在线演示，欢迎体验。

注：为ONNX权重单独建立仓库是临时方案，待WebML技术更普及后将调整。若需使模型适配网页端，建议使用🤗 Optimum转换为ONNX格式，并参照本仓库结构（ONNX权重存放在onnx子文件夹中）。