库名称: transformers
许可证: apache-2.0
支持语言:

• 英语
  任务类型: 目标检测
  标签:
• 目标检测
• 视觉
  数据集:
• COCO

D-FINE模型

概述

D-FINE模型由Yansong Peng、Hebei Li、Peixi Wu、Yueyi Zhang、Xiaoyan Sun和Feng Wu在论文《D-FINE: 将DETR中的回归任务重新定义为细粒度分布优化》中提出。该模型由VladOS95-cyber在@qubvel-hf的协助下贡献。

这是D-FINE的Hugging Face Transformers实现版本：

• _coco：基于COCO数据集训练的模型
• _obj365：基于Object365数据集训练的模型
• _obj2coco：先在Object365预训练再在COCO微调的模型

性能表现

D-FINE是一款强大的实时目标检测器，通过重新定义DETR模型中的边界框回归任务，实现了卓越的定位精度。其核心包含两大创新组件：细粒度分布优化（FDR）和全局最优定位自蒸馏（GO-LSD）。

使用方法

import torch
import requests
from PIL import Image
from transformers import DFineForObjectDetection, AutoImageProcessor

# 加载示例图像
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

# 初始化处理器和模型
image_processor = AutoImageProcessor.from_pretrained("ustc-community/dfine-medium-obj2coco")
model = DFineForObjectDetection.from_pretrained("ustc-community/dfine-medium-obj2coco")

# 处理输入并推理
inputs = image_processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

# 解析检测结果
results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]), threshold=0.3)

# 打印检测框信息
for result in results:
    for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
        print(f"{model.config.id2label[label_id.item()]}: {score.item():.2f} {[round(i,2) for i in box.tolist()}")

训练细节

模型在COCO 2017训练集上训练，并在val2017验证集评估。采用标准AP指标（IoU阈值0.50-0.95范围内以0.05为步长的平均值）和实际场景常用的APval5000指标。

应用场景

D-FINE特别适用于以下实时目标检测场景：

• 自动驾驶
• 安防监控
• 机器人视觉
• 零售分析
  其增强的灵活性和部署友好设计，使其既能适配边缘设备，也能胜任大规模系统，在动态现实环境中确保高精度与高速响应。