基础模型: facebook/sam-vit-base
库名称: transformers.js

适配Transformers.js的ONNX权重版本，原模型地址：https://huggingface.co/facebook/sam-vit-base

使用方法（Transformers.js）

若尚未安装，可通过NPM安装Transformers.js库：

npm i @huggingface/transformers  

示例： 使用Xenova/sam-vit-base进行掩码生成

import { SamModel, AutoProcessor, RawImage } from "@huggingface/transformers";  

// 加载模型和处理器  
const model = await SamModel.from_pretrained("Xenova/sam-vit-base");  
const processor = await AutoProcessor.from_pretrained("Xenova/sam-vit-base");  

// 准备图像和输入点  
const img_url = "https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/corgi.jpg";  
const raw_image = await RawImage.read(img_url);  
const input_points = [[[340, 250]]];  

// 处理输入并生成掩码  
const inputs = await processor(raw_image, { input_points });  
const outputs = await model(inputs);  

// 后处理掩码  
const masks = await processor.post_process_masks(outputs.pred_masks, inputs.original_sizes, inputs.reshaped_input_sizes);  
console.log(masks);  
// [  
//   Tensor {  
//     dims: [ 1, 3, 410, 614 ],  
//     type: 'bool',  
//     data: Uint8Array(755220) [ ... ],  
//     size: 755220  
//   }  
// ]  
const scores = outputs.iou_scores;  
console.log(scores);  
// Tensor {  
//   dims: [ 1, 1, 3 ],  
//   type: 'float32',  
//   data: Float32Array(3) [  
//     0.9466127157211304,  
//     0.9890615344047546,  
//     0.8316894769668579  
//   ],  
//   size: 3  
// }  

可通过以下代码可视化生成的掩码：

const image = RawImage.fromTensor(masks[0][0].mul(255));  
image.save('mask.png');  

选择IoU得分最高的通道（本例为第二绿色通道），与原图叠加后可获得目标主体分离效果：

在线演示

访问此处体验在线演示功能。

注：当前ONNX权重独立存储方案为临时措施，待WebML技术更普及后将优化。如需将模型适配Web，建议使用🤗 Optimum转换为ONNX格式，并参照本仓库结构（ONNX权重存放在onnx子目录中）。