基础模型: nielsr/slimsam-77-uniform 库名称: transformers.js 标签:

• slimsam

https://huggingface.co/nielsr/slimsam-77-uniform 包含ONNX权重，兼容Transformers.js。

使用方式 (Transformers.js)

如果尚未安装，可以通过以下命令从NPM安装Transformers.js JavaScript库：

npm i @huggingface/transformers

示例： 使用Xenova/slimsam-77-uniform进行掩码生成。

import { SamModel, AutoProcessor, RawImage } from '@huggingface/transformers';

// 加载模型和处理器
const model = await SamModel.from_pretrained('Xenova/slimsam-77-uniform');
const processor = await AutoProcessor.from_pretrained('Xenova/slimsam-77-uniform');

// 准备图像和输入点
const img_url = 'https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/corgi.jpg';
const raw_image = await RawImage.read(img_url);
const input_points = [[[340, 250]]];

// 处理输入并生成掩码
const inputs = await processor(raw_image, { input_points });
const outputs = await model(inputs);

// 后处理掩码
const masks = await processor.post_process_masks(outputs.pred_masks, inputs.original_sizes, inputs.reshaped_input_sizes);
console.log(masks);
// [
//   Tensor {
//     dims: [ 1, 3, 410, 614 ],
//     type: 'bool',
//     data: Uint8Array(755220) [ ... ],
//     size: 755220
//   }
// ]
const scores = outputs.iou_scores;
console.log(scores);
// Tensor {
//   dims: [ 1, 1, 3 ],
//   type: 'float32',
//   data: Float32Array(3) [
//     0.8350210189819336,
//     0.9786665439605713,
//     0.8379436731338501
//   ],
//   size: 3
// }

随后，您可以通过以下方式可视化生成的掩码：

const image = RawImage.fromTensor(masks[0][0].mul(255));
image.save('mask.png');

接下来，选择IoU得分最高的通道，本例中为第二个（绿色）通道。将其与原始图像相交，即可得到目标的独立版本：