许可协议：apache-2.0

模型卡片：医学图像分割专用版Segment Anything模型（SAM）- ViT基础版（ViT-B）

Segment Anything模型（SAM）的详细架构示意图

目录

0. 摘要速览
1. 模型详情
2. 使用方式
3. 引用文献

摘要速览

原始SAM项目仓库链接 原始MedSAM项目仓库链接

Segment Anything模型（SAM） 能够根据点或框等输入提示生成高质量的对象掩膜，并可为图像中所有对象创建分割掩膜。该模型在包含1100万张图像和11亿个掩膜的数据集上训练完成，在各类分割任务中展现出强大的零样本性能。原论文摘要指出：

我们推出Segment Anything（SA）项目：包含新型任务、模型和数据集的全新图像分割体系。通过高效模型的数据采集循环，我们构建了迄今最大规模的分割数据集（远超现有水平），包含基于1100万张合规授权且保护隐私图像的10亿级掩膜。该模型专为提示式设计训练，可实现对新图像分布和任务的零样本迁移。我们在多项任务中评估其能力，发现其零样本表现令人印象深刻——常与全监督结果媲美甚至更优。现公开Segment Anything模型（SAM）及对应数据集SA-1B（含10亿掩膜和1100万图像），详见https://segment-anything.com，以推动计算机视觉基础模型研究。

免责声明：本模型卡片内容由Hugging Face团队撰写，部分内容复制自原始SAM模型卡片。

模型详情

SAM模型由3个核心模块构成：

• 视觉编码器(VisionEncoder)：基于VIT架构的图像编码器。通过图像分块注意力机制计算嵌入表示，采用相对位置编码。
• 提示编码器(PromptEncoder)：为点坐标和边界框生成嵌入向量
• 掩膜解码器(MaskDecoder)：双向Transformer架构，执行图像嵌入与提示嵌入的交叉注意力机制（双向交互）。输出结果传递至
• 颈部网络(Neck)：根据掩膜解码器生成的情境化掩膜预测最终输出结果。

使用方式

请参考以下演示笔记本：

• 此笔记本展示MedSAM推理流程
• 此笔记本展示SAM通用使用方法

以及官方文档。

引用文献

如需使用本模型，请引用以下文献。

@article{kirillov2023segany,
  title={Segment Anything},
  author={Kirillov, Alexander and Mintun, Eric and Ravi, Nikhila and Mao, Hanzi and Rolland, Chloe and Gustafson, Laura and Xiao, Tete and Whitehead, Spencer and Berg, Alexander C. and Lo, Wan-Yen and Doll{\'a}r, Piotr and Girshick, Ross},
  journal={arXiv:2304.02643},
  year={2023}
}