库名称: birefnet
标签:

• 背景去除
• 掩膜生成
• 二分图像分割
• 伪装目标检测
• 显著目标检测
• pytorch_model_hub_mixin
• model_hub_mixin
  仓库地址: https://github.com/ZhengPeng7/BiRefNet
  流水线标签: 图像分割

高分辨率二分图像分割的双边参考网络

                 

DIS样本1	DIS样本2

本仓库是论文"高分辨率二分图像分割的双边参考网络"（CAAI AIR 2024）的官方实现。

访问我们的GitHub仓库：https://github.com/ZhengPeng7/BiRefNet 获取更多详情——代码、文档和模型库！

使用方法（精简版）

0. 安装依赖包：

pip install -qr https://raw.githubusercontent.com/ZhengPeng7/BiRefNet/main/requirements.txt

1. 加载BiRefNet：

使用HuggingFace的代码+权重

仅使用HuggingFace上的权重——优点：无需手动下载BiRefNet代码；缺点：HuggingFace上的代码可能不是最新版本（我会尽量保持更新）。

# 加载带权重的BiRefNet
from transformers import AutoModelForImageSegmentation
birefnet = AutoModelForImageSegmentation.from_pretrained('zhengpeng7/BiRefNet_lite', trust_remote_code=True)

使用GitHub代码+HuggingFace权重

仅使用HuggingFace上的权重——优点：代码始终最新；缺点：需要从GitHub克隆BiRefNet仓库。

# 下载代码
git clone https://github.com/ZhengPeng7/BiRefNet.git
cd BiRefNet

# 本地使用代码
from models.birefnet import BiRefNet

# 从Hugging Face模型加载权重
### >>> 记得将`config.py`中的`bb`设置为`swin_v1_t`以使用此精简版本。 <<< ###
birefnet = BiRefNet.from_pretrained('zhengpeng7/BiRefNet_lite')

使用GitHub代码+本地权重

同时使用本地代码和权重。

# 本地使用代码和权重
### >>> 记得将`config.py`中的`bb`设置为`swin_v1_t`以使用此精简版本。 <<< ###
import torch
from utils import check_state_dict

birefnet = BiRefNet(bb_pretrained=False)
state_dict = torch.load(权重路径, map_location='cpu')
state_dict = check_state_dict(state_dict)
birefnet.load_state_dict(state_dict)

使用加载的BiRefNet进行推理

# 导入
from PIL import Image
import matplotlib.pyplot as plt
import torch
from torchvision import transforms
from models.birefnet import BiRefNet

birefnet = ... # -- 通过上述任一方式加载BiRefNet。
torch.set_float32_matmul_precision(['high', 'highest'][0])
birefnet.to('cuda')
birefnet.eval()
birefnet.half()

def extract_object(birefnet, imagepath):
    # 数据设置
    image_size = (1024, 1024)
    transform_image = transforms.Compose([
        transforms.Resize(image_size),
        transforms.ToTensor(),
        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
    ])

    image = Image.open(imagepath)
    input_images = transform_image(image).unsqueeze(0).to('cuda').half()

    # 预测
    with torch.no_grad():
        preds = birefnet(input_images)[-1].sigmoid().cpu()
    pred = preds[0].squeeze()
    pred_pil = transforms.ToPILImage()(pred)
    mask = pred_pil.resize(image.size)
    image.putalpha(mask)
    return image, mask

# 可视化
plt.axis("off")
plt.imshow(extract_object(birefnet, imagepath='图片路径.jpg')[0])
plt.show()

此BiRefNet用于标准二分图像分割（DIS），在DIS-TR上训练并在DIS-TEs和DIS-VD上验证。

本仓库包含论文"高分辨率二分图像分割的双边参考网络"（CAAI AIR 2024）的官方模型权重。

本仓库包含我们论文中提出的BiRefNet的权重，该模型在三个任务（DIS、HRSOD和COD）上取得了最先进的性能。

访问我的GitHub页面获取BiRefNet代码和最新更新：https://github.com/ZhengPeng7/BiRefNet :)

尝试我们的在线推理演示：

• 在Colab上进行单图推理：
• 在Hugging Face上带GUI的在线推理，可调分辨率：
• 对给定权重进行推理和评估：

致谢：

• 非常感谢@fal对GPU资源的慷慨支持，帮助我们训练更好的BiRefNet模型。
• 非常感谢@not-lain在HuggingFace上更好地部署我们的BiRefNet模型方面的帮助。

引用

@article{zheng2024birefnet,
  title={高分辨率二分图像分割的双边参考网络},
  author={郑鹏 and 高德宏 and 范登平 and 刘力 and 约尔马·拉克索宁 and 欧阳万里 and 尼库·塞贝},
  journal={CAAI人工智能研究},
  volume = {3},
  pages = {9150038},
  year={2024}
}