库名称: transformers
许可证: apache-2.0
支持语言:

• 英文
  任务标签: 目标检测
  标签:
• 目标检测
• 视觉
  数据集:
• coco
  示例展示:
• 图片链接: >-
  https://huggingface.co/datasets/mishig/sample_images/resolve/main/savanna.jpg
  示例标题: 热带草原
• 图片链接: >-
  https://huggingface.co/datasets/mishig/sample_images/resolve/main/football-match.jpg
  示例标题: 足球比赛
• 图片链接: >-
  https://huggingface.co/datasets/mishig/sample_images/resolve/main/airport.jpg
  示例标题: 机场

RT-DETRv2

模型概览

RT-DETRv2模型由吕文宇、赵一安、常钦尧、黄奎、王冠中和刘毅在论文RT-DETRv2: 实时检测Transformer的改进基线及免费优化策略中提出。该模型通过引入选择性多尺度特征提取、提升部署兼容性的离散采样算子，以及动态数据增强和尺度自适应超参数等改进训练策略，在保持实时性能的同时增强了灵活性和实用性。

本模型由@jadechoghari贡献，并得到@cyrilvallez和@qubvel-hf的协助。

性能表现

RT-DETRv2在所有模型尺寸上均超越前代，同时保持相同的实时速度。

使用方法

import torch  
import requests  

from PIL import Image  
from transformers import RTDetrV2ForObjectDetection, RTDetrImageProcessor  

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'  
image = Image.open(requests.get(url, stream=True).raw)  

image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_v2_r34vd")  
model = RTDetrV2ForObjectDetection.from_pretrained("PekingU/rtdetr_v2_r34vd")  

inputs = image_processor(images=image, return_tensors="pt")  

with torch.no_grad():  
     outputs = model(**inputs)  

results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([(image.height, image.width)]), threshold=0.5)  

for result in results:  
     for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):  
         score, label = score.item(), label_id.item()  
         box = [round(i, 2) for i in box.tolist()]  
         print(f"{model.config.id2label[label]}: {score:.2f} {box}")  

输出示例:

猫: 0.97 [341.14, 25.11, 639.98, 372.89]  
猫: 0.96 [12.78, 56.35, 317.67, 471.34]  
遥控器: 0.95 [39.96, 73.12, 175.65, 117.44]  
沙发: 0.86 [-0.11, 2.97, 639.89, 473.62]  
沙发: 0.82 [-0.12, 1.78, 639.87, 473.52]  
遥控器: 0.79 [333.65, 76.38, 370.69, 187.48]  

训练细节

RT-DETRv2在COCO数据集（Lin等人[2014]）的train2017上训练，并在val2017数据集上验证。我们报告了标准AP指标（在0.50至0.95的IoU阈值范围内均匀采样，步长0.05）以及实际场景中常用的APval50指标。

应用场景

RT-DETRv2非常适合需要实时目标检测的多样化应用，如自动驾驶、监控系统、机器人技术和零售分析。其增强的灵活性和易于部署的设计使其既适用于边缘设备，也适用于大规模系统，确保在动态现实环境中实现高精度和高速检测。