license: apache-2.0
pipeline_tag: mask-generation
tags:

• sam2

SAM2-Hiera小型版

本仓库包含SAM2模型的小型变体。SAM2是Meta发布的最先进的掩模生成模型。

使用方法

您可以按以下方式使用。首先安装SAM2的打包版本。

pip install samv2 huggingface_hub  

每个模型需要不同的类进行推理。

对于提示式推理：

from huggingface_hub import hf_hub_download  
from sam2.build_sam import build_sam2  
from sam2.sam2_image_predictor import SAM2ImagePredictor  

hf_hub_download(repo_id = "merve/sam2-hiera-small", filename="sam2_hiera_small.pt", local_dir = "./")  

ckpt = f"./sam2_hiera_small.pt"  
config = "sam2_hiera_s.yaml"  

sam2_model = build_sam2(config, ckpt, device="cuda", apply_postprocessing=False)  
predictor = SAM2ImagePredictor(sam2_model)  

# 接受COCO格式的输入  
box = [x1, y1, w, h]  
predictor.set_image(image)  

masks = predictor.predict(box=box, multimask_output=False)  

对于自动掩模生成：

from huggingface_hub import hf_hub_download  
from sam2.build_sam import build_sam2  
from sam2.automatic_mask_generator import SAM2AutomaticMaskGenerator  

hf_hub_download(repo_id = "merve/sam2-hiera-small", filename="sam2_hiera_small.pt", local_dir = "./")  
ckpt = f"./sam2_hiera_small.pt"  
config = "sam2_hiera_s.yaml"  

sam2 = build_sam2(model_cfg, sam2_checkpoint, device='cuda', apply_postprocessing=False)  

mask_generator = SAM2AutomaticMaskGenerator(sam2)  
masks = mask_generator.generate(image)  

资源

SAM2团队为所有任务提供了示例笔记本。

• 查看图像预测示例获取完整的提示式推理示例。

• 查看自动掩模生成示例生成所有掩模。

• 查看视频对象分割示例