数据集:

• reasonseg 语言: 英文 许可证: 其他 任务标签: 图像分割 库名称: transformers 标签:
• 视觉
• 分割

Seg-Zero-7B

该模型基于论文Seg-Zero: 通过认知强化实现推理链引导的分割。它采用了解耦架构，包含一个推理模型和一个分割模型。通过使用GRPO进行强化学习训练，无需显式推理数据，实现了强大的零样本泛化能力和涌现的测试时推理能力。

代码: https://github.com/dvlab-research/Seg-Zero

描述

这是一个Seg-Zero-7B模型。它引入了一种解耦架构，由推理模型和分割模型组成。推理模型解释用户意图，生成显式推理链，并产生位置提示，随后由分割模型使用这些提示生成像素级掩码。

使用方法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 加载模型
model = AutoModelForCausalLM.from_pretrained("Ricky06662/Seg-Zero-7B")
tokenizer = AutoTokenizer.from_pretrained("Ricky06662/Seg-Zero-7B")

安装

git clone https://github.com/dvlab-research/Seg-Zero.git
cd Seg-Zero
conda create -n seg_zero python=3.11
conda activate seg_zero
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1
pip install -e .
pip install sam2
pip install matplotlib

推理

python inference_scripts/infer.py

默认问题是:

"图像中不寻常的物体。"

你将在命令行中看到思考过程，掩码将保存在inference_scripts文件夹中。你也可以提供自己的图像路径和文本:

python inference_scripts/infer.py --image_path "你的图像路径" --text "你的问题文本"