库名称: transformers 许可证: apache-2.0 语言:

• 英文 任务标签: 目标检测 标签:
• 目标检测
• 视觉 数据集:
• coco

D-FINE模型

概述

D-FINE模型由Yansong Peng、Hebei Li、Peixi Wu、Yueyi Zhang、Xiaoyan Sun和Feng Wu在论文D-FINE: 将DETRs中的回归任务重新定义为细粒度分布优化中提出。

该模型由VladOS95-cyber在@qubvel-hf的协助下贡献。

这是D-FINE的Hugging Face transformers实现版本

_coco -> 基于COCO数据集训练的模型

_obj365 -> 基于Object365数据集训练的模型

_obj2coco -> 先在Object365上预训练，再在COCO上微调的模型

性能表现

D-FINE是一款强大的实时目标检测器，通过重新定义DETR模型中的边界框回归任务，实现了卓越的定位精度。该模型包含两个核心组件：细粒度分布优化(FDR)和全局最优定位自蒸馏(GO-LSD)。

使用方法

import torch
import requests

from PIL import Image
from transformers import DFineForObjectDetection, AutoImageProcessor

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

image_processor = AutoImageProcessor.from_pretrained("ustc-community/dfine-small-coco")
model = DFineForObjectDetection.from_pretrained("ustc-community/dfine-small-coco")

inputs = image_processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)

results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]), threshold=0.3)

for result in results:
    for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
        score, label = score.item(), label_id.item()
        box = [round(i, 2) for i in box.tolist()]
        print(f"{model.config.id2label[label]}: {score:.2f} {box}")

训练细节

D-FINE在COCO数据集(Lin等人[2014])的train2017子集上训练，并在val2017子集上验证。我们报告了标准AP指标(在0.50-0.95范围内以0.05为步长均匀采样的IoU阈值平均值)以及实际场景中常用的APval5000指标。

应用场景

D-FINE非常适合需要实时目标检测的多样化应用场景，包括自动驾驶、监控系统、机器人技术和零售分析等领域。其增强的灵活性和便于部署的设计，使其既适用于边缘设备也适合大规模系统，确保在动态现实环境中实现高精度和快速响应。