库名称：transformers
许可证：apache-2.0
支持语言：

• 英文
  任务标签：目标检测
  标签：
• 目标检测
• 视觉
  数据集：
• COCO
• Objects365

D-FINE模型

概述

D-FINE模型由Yansong Peng、Hebei Li、Peixi Wu、Yueyi Zhang、Xiaoyan Sun和Feng Wu在论文《D-FINE：将DETRs中的回归任务重新定义为细粒度分布优化》中提出（论文链接：https://arxiv.org/abs/2410.13842）。

该模型由VladOS95-cyber贡献，并得到了@qubvel-hf的帮助。

这是D-FINE的Hugging Face Transformers实现版本：

• coco：基于COCO数据集训练的模型
• obj365：基于Object365数据集训练的模型
• obj2coco：先在Object365上预训练，再在COCO上微调的模型

性能表现

D-FINE是一种强大的实时目标检测器，通过重新定义DETR模型中的边界框回归任务，实现了卓越的定位精度。D-FINE包含两个关键组件：细粒度分布优化（FDR）和全局最优定位自蒸馏（GO-LSD）。

使用方法

import torch  
import requests  
from PIL import Image  
from transformers import DFineForObjectDetection, AutoImageProcessor  

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'  
image = Image.open(requests.get(url, stream=True).raw)  

image_processor = AutoImageProcessor.from_pretrained("ustc-community/dfine-large-obj365")  
model = DFineForObjectDetection.from_pretrained("ustc-community/dfine-large-obj365")  

inputs = image_processor(images=image, return_tensors="pt")  

with torch.no_grad():  
    outputs = model(**inputs)  

results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]), threshold=0.3)  

for result in results:  
    for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):  
        score, label = score.item(), label_id.item()  
        box = [round(i, 2) for i in box.tolist()]  
        print(f"{model.config.id2label[label]}: {score:.2f} {box}")  

训练细节

D-FINE在COCO和Objects365（Lin等人[2014]）的train2017数据集上训练，并在COCO + Objects365的val2017数据集上验证。我们报告了标准AP指标（在0.50至0.95的IoU阈值范围内均匀采样，步长为0.05的平均值）以及实际场景中常用的APval5000指标。

应用场景

D-FINE非常适合自动驾驶、监控系统、机器人技术和零售分析等多样化实时目标检测应用。其增强的灵活性和部署友好设计使其适用于边缘设备和大规模系统，确保在动态现实环境中实现高精度和高速检测。