许可证: MIT
任务类型: 掩码生成
库名称: refiners
标签:

• 视觉
• 图像分割
• 抠图
• 去除背景
• 背景
• 背景移除
• 显著目标检测
• PyTorch
• refiners
  数据集:
• finegrain/finegrain-product-masks-lite

Finegrain Box Segmenter v0.1 发布说明

演示

若想体验 Finegrain Box Segmenter，最佳方式是访问我们在 Hugging Face 上发布的 Finegrain Object Cutter Space。这是一个有趣的“提示抠图”工具，只需命名照片中的物体，即可生成像素级精度的高分辨率抠图。

动机

在开发 Finegrain 时，我们需要一种方法为图像中的物体生成像素级完美的高分辨率抠图。现成的解决方案无法满足需求：

• 传统背景移除模型能生成高清抠图，但不同用户对前景/背景的定义不同，且缺乏提示功能。
• 新兴的可提示模型（如 SAM/SAM2）生成的 256x256 低分辨率掩码存在伪影，难以处理复杂物体（如埃菲尔铁塔）。

Finegrain Box Segmenter 通过训练 MVANet 成为支持框提示的高清（1024x1024）物体抠图模型，避免了上述问题，且不预设前景/背景定义，完全由用户控制。

许可证

本模型采用 MIT 许可证。欢迎在项目中自由使用！如需优化版本（速度/精度），我们提供 API 服务——联系我们！

特性

• 生成高清像素级掩码
• 通过框提示赋予用户控制权
• 直接输出 alpha 通道掩码，无需后处理或三分图即可作为端到端抠图分割器

应用场景

本模型用于高精度、高分辨率选择图像中的物体，是以下操作的前提：

• 移除物体背景
• 更换物体背景
• 擦除物体
• 物体换色
• 物体替换
• ...

默认需输入边界框，但可扩展为“提示选择物体”模式（参见 Hugging Face 示例）。

训练数据

聚焦电商场景，训练数据来自：

• Nfinite（开源）:
  • 7769 张 3D 合成图像
  • 14818 个像素级掩码
  • 家居类物品
  • 数据集: Nfiniteai/product-masks-sample
• Finegrain（闭源）:
  • 1184 张困难样本挖掘的真实图像（工作室/UGC）
  • 1479 个像素级掩码
  • 常见物体

采用定制裁剪策略（非随机裁剪）确保模型理解框内目标物体，批次大小为 5 以提升稳定性。

评估

使用电商专用测试集 Finegrain Product Masks Lite（含 120 个像素级掩码），指标如下（基于 PySODMetrics）：

(x) 使用 5% 边距裁剪
(xx) 采用 BiRefNet 框引导分割

局限性（v0.1）

• 未内置提示功能
• 物体贴边时效果欠佳
• 不支持透明物体（STM）或非显著物体（NS）抠图
• 强反射/硬阴影/手持场景仍有挑战：

公平性说明

当前版本未进行全面的偏差审查，后续版本将完善。

使用方式

通过 refiners 库

from PIL import Image  
from refiners.solutions import BoxSegmenter  

segmenter = BoxSegmenter()  # 自动下载模型  
mask = segmenter(Image.open("input.png"), box_prompt=(x1, y1, x2, y2))  # 框提示模式  
# 或作为背景移除器: mask = segmenter(input_image.convert("RGB"))  
mask.save("output.png")  

通过 ComfyUI

安装插件:

comfy node registry-install comfyui-refiners  

示例工作流

在线体验

访问 Hugging Face Space（可能受 ZeroGPU 限速，本地运行效果更佳）