库名称：transformers
许可证：apache-2.0
支持语言：

• 英文
  任务类型：目标检测
  标签：
• 目标检测
• 视觉
  数据集：
• COCO
  示例展示：
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/savanna.jpg
  示例标题：热带草原
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/football-match.jpg
  示例标题：足球比赛
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/airport.jpg
  示例标题：机场

RT-DETRv2

概述

RT-DETRv2模型由吕文宇、赵一安、常钦尧、黄奎、王冠中和刘毅在论文《RT-DETRv2：通过免费技巧改进实时检测Transformer基线》中提出。该模型通过引入选择性多尺度特征提取、兼容性更广的离散采样算子，以及动态数据增强和尺度自适应超参数等训练策略，在保持实时性能的同时提升了灵活性和实用性。

本模型由@jadechoghari贡献，并得到@cyrilvallez和@qubvel-hf的支持。

性能表现

RT-DETRv2在所有模型尺寸上均超越前代，同时保持相同的实时速度。

使用方法

import torch  
import requests  
from PIL import Image  
from transformers import RTDetrV2ForObjectDetection, RTDetrImageProcessor  

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'  
image = Image.open(requests.get(url, stream=True).raw)  

image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_v2_r50vd")  
model = RTDetrV2ForObjectDetection.from_pretrained("PekingU/rtdetr_v2_r50vd")  

inputs = image_processor(images=image, return_tensors="pt")  

with torch.no_grad():  
     outputs = model(**inputs)  

results = image_processor.post_process_object_detection(  
     outputs,  
     target_sizes=torch.tensor([(image.height, image.width)]),  
     threshold=0.5  
)  

for result in results:  
     for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):  
         score, label = score.item(), label_id.item()  
         box = [round(i, 2) for i in box.tolist()]  
         print(f"{model.config.id2label[label]}: {score:.2f} {box}")  

输出示例

猫: 0.97 [341.14, 25.11, 639.98, 372.89]  
猫: 0.96 [12.78, 56.35, 317.67, 471.34]  
遥控器: 0.95 [39.96, 73.12, 175.65, 117.44]  
沙发: 0.86 [-0.11, 2.97, 639.89, 473.62]  
沙发: 0.82 [-0.12, 1.78, 639.87, 473.52]  
遥控器: 0.79 [333.65, 76.38, 370.69, 187.48]  

训练数据

RT-DETRv2基于COCO数据集（Lin等人，2014年）的train2017训练，并在val2017数据集上验证。评估指标采用标准AP（IoU阈值0.50至0.95，步长0.05的平均值）和实际场景常用的APval50。

应用场景

RT-DETRv2非常适合需要实时目标检测的领域，包括：

• 自动驾驶
• 安防监控
• 机器人技术
• 零售分析

其增强的灵活性和部署友好设计，使其既能适配边缘设备，也能应用于大规模系统，确保在动态现实环境中实现高精度与高速检测。