许可协议: 其他
标签:

• 视觉
• 图像分割
  数据集:
• COCO
  示例展示:
• 图片链接: http://images.cocodataset.org/val2017/000000039769.jpg
  示例标题: 猫咪
• 图片链接: http://images.cocodataset.org/val2017/000000039770.jpg
  示例标题: 城堡

Mask2Former语义分割模型

本仓库包含专为语义分割任务微调的Mask2Former模型。该模型可用于预测输入图像的分割掩码，基于facebook/mask2former-swin-large-cityscapes-semantic预训练模型开发。

模型概览

Mask2Former是一个通用型掩码预测框架，支持以下任务：

• 语义分割
• 实例分割
• 全景分割

当前版本经过微调优化，专攻语义分割任务。适用于道路场景理解、自动驾驶等分割相关应用场景。

模型使用方法

可通过Hugging Face的transformers库调用本模型。下方示例展示如何加载模型、处理图像并可视化输出结果。

环境安装

首先确保已安装必要依赖库：

pip install transformers torch torchvision pillow matplotlib

使用示例

具体调用方式如下：

from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
from PIL import Image
import torch
import matplotlib.pyplot as plt

# 加载处理器与模型
model_name = "saninmohammedn/mask2former-deployment"
processor = AutoImageProcessor.from_pretrained(model_name)
model = Mask2FormerForUniversalSegmentation.from_pretrained(model_name)

# 读取输入图像
image_path = "your_image.jpg"  # 替换为实际图片路径
image = Image.open(image_path).convert("RGB")

# 图像预处理
inputs = processor(images=image, return_tensors="pt")

# 执行推理
with torch.no_grad():
    outputs = model(**inputs)

# 后处理预测分割图
predicted_map = processor.post_process_semantic_segmentation(
    outputs, target_sizes=[image.size[::-1]]
)[0].cpu().numpy()

# 可视化原始图像与预测结果
plt.figure(figsize=(10, 5))

# 显示原图
plt.subplot(1, 2, 1)
plt.imshow(image)
plt.title("原始图像")
plt.axis("off")

# 显示预测分割图
plt.subplot(1, 2, 2)
plt.imshow(predicted_map, cmap="jet")
plt.title("预测分割图")
plt.axis("off")

plt.tight_layout()
plt.show()