license: apache-2.0 tags:

• 视觉 inference: false pipeline_tag: 零样本目标检测

Grounding DINO模型（微型变体）

Grounding DINO模型由刘世龙、曾朝阳、任天和等人在论文《Grounding DINO：将DINO与接地预训练结合实现开放集目标检测》中提出。该模型通过为闭集目标检测模型添加文本编码器，实现了开放集目标检测功能。模型取得了显著成果，例如在COCO零样本检测任务中达到52.5 AP的精度。

Grounding DINO架构概览。图片取自原论文。

预期用途与限制

您可以使用原始模型进行零样本目标检测（即无需标注数据就能实现图像中物体的开箱即用检测）。

使用方法

以下是使用该模型进行零样本目标检测的示例：

import requests

import torch
from PIL import Image
from transformers import AutoProcessor, AutoModelForZeroShotObjectDetection 

model_id = "IDEA-Research/grounding-dino-tiny"
device = "cuda" if torch.cuda.is_available() else "cpu"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForZeroShotObjectDetection.from_pretrained(model_id).to(device)

image_url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(image_url, stream=True).raw)
# 检测猫和遥控器
# 非常重要：文本查询需要全部小写并以句点结尾
text = "一只猫. 一个遥控器."

inputs = processor(images=image, text=text, return_tensors="pt").to(device)
with torch.no_grad():
    outputs = model(**inputs)

results = processor.post_process_grounded_object_detection(
    outputs,
    inputs.input_ids,
    box_threshold=0.4,
    text_threshold=0.3,
    target_sizes=[image.size[::-1]]
)

BibTeX条目与引用信息

@misc{liu2023grounding,
      title={Grounding DINO：将DINO与接地预训练结合实现开放集目标检测}, 
      author={刘世龙 and 曾朝阳 and 任天和 and 李峰 and 张浩 and 杨杰 and 李春元 and 杨建伟 and 苏航 and 朱军 and 张磊},
      year={2023},
      eprint={2303.05499},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}