许可证：apache-2.0
流水线标签：掩膜生成
标签：

• sam2

SAM2-Hiera-large大型模型

本仓库包含SAM2模型的大型变体。SAM2是Meta发布的最先进的掩膜生成模型。

使用方法

您可以按以下方式使用。首先安装SAM2的打包版本。

pip install samv2 huggingface_hub  

每个模型需要不同的类进行推理。

from huggingface_hub import hf_hub_download  
from sam2.build_sam import build_sam2  
from sam2.sam2_image_predictor import SAM2ImagePredictor  

hf_hub_download(repo_id="merve/sam2-hiera-large", filename="sam2_hiera_large.pt", local_dir="./")  
sam2_checkpoint = "../checkpoints/sam2_hiera_large.pt"  
model_cfg = "sam2_hiera_l.yaml"  

sam2_model = build_sam2(config, ckpt, device="cuda", apply_postprocessing=False)  
predictor = SAM2ImagePredictor(sam2_model)  

# 接受COCO格式的输入  
box = [x1, y1, w, h]  
predictor.set_image(image)  

masks = predictor.predict(box=box, multimask_output=False)  

自动掩膜生成：

from huggingface_hub import hf_hub_download  
from sam2.build_sam import build_sam2  
from sam2.automatic_mask_generator import SAM2AutomaticMaskGenerator  

hf_hub_download(repo_id="merve/sam2-hiera-large", filename="sam2_hiera_large.pt", local_dir="./")  
sam2_checkpoint = "../checkpoints/sam2_hiera_large.pt"  
model_cfg = "sam2_hiera_l.yaml"  

sam2 = build_sam2(model_cfg, sam2_checkpoint, device='cuda', apply_postprocessing=False)  

mask_generator = SAM2AutomaticMaskGenerator(sam2)  
masks = mask_generator.generate(image)  

资源

SAM2团队为所有任务提供了示例笔记本。

• 查看图像预测器示例获取完整提示示例。
• 查看自动掩膜生成示例生成所有掩膜。
• 查看视频对象分割示例处理视频对象分割。