许可证：apache-2.0
流水线标签：掩膜生成
标签：

• sam2

SAM2-Hiera-base-plus

本仓库包含SAM2模型的基础变体。SAM2是Meta发布的最先进的掩膜生成模型。

使用方法

您可以按以下方式使用。首先安装SAM2的打包版本。

pip install samv2 huggingface_hub  

每个模型需要不同的类进行推理。

from huggingface_hub import hf_hub_download  
from sam2.build_sam import build_sam2  
from sam2.sam2_image_predictor import SAM2ImagePredictor  

hf_hub_download(repo_id = "merve/sam2-hiera-base-plus", filename="sam2_hiera_base_plus.pt", local_dir = "./")  
sam2_checkpoint = "../checkpoints/sam2_hiera_base_plus.pt"  
model_cfg = "sam2_hiera_b+.yaml"  

sam2_model = build_sam2(config, ckpt, device="cuda", apply_postprocessing=False)  
predictor = SAM2ImagePredictor(sam2_model)  

# 接受COCO格式  
box = [x1, y1, w, h]  
predictor.set_image(image)  

masks = predictor.predict(box=box,  
multimask_output=False)  

对于自动掩膜生成：

from huggingface_hub import hf_hub_download  
from sam2.build_sam import build_sam2  
from sam2.automatic_mask_generator import SAM2AutomaticMaskGenerator  

hf_hub_download(repo_id = "merve/sam2-hiera-base-plus", filename="sam2_hiera_base_plus.pt", local_dir = "./")  
sam2_checkpoint = "../checkpoints/sam2_hiera_base_plus.pt"  
model_cfg = "sam2_hiera_b+.yaml"  

sam2 = build_sam2(model_cfg, sam2_checkpoint, device ='cuda', apply_postprocessing=False)  

mask_generator = SAM2AutomaticMaskGenerator(sam2)  
masks = mask_generator.generate(image)  

资源

SAM2背后的团队为所有任务提供了示例笔记本。

• 查看图像预测器示例获取完整的提示示例。

• 查看自动掩膜生成示例生成所有掩膜。

• 查看视频对象分割示例了解视频对象分割。