库名称: transformers
许可证: apache-2.0
支持语言:

• 英文
  任务类型: 目标检测
  标签:
• 目标检测
• 视觉
  数据集:
• coco
  示例展示:
• 图片链接: >- https://huggingface.co/datasets/mishig/sample_images/resolve/main/savanna.jpg
  示例标题: 热带草原
• 图片链接: >- https://huggingface.co/datasets/mishig/sample_images/resolve/main/football-match.jpg
  示例标题: 足球比赛
• 图片链接: >- https://huggingface.co/datasets/mishig/sample_images/resolve/main/airport.jpg
  示例标题: 机场

RT-DETRv2 实时检测变换器

模型概览

RT-DETRv2模型由吕文宇、赵一安、常钦尧、黄奎、王冠中和刘毅在论文《RT-DETRv2：基于免费技巧改进的实时检测变换器基线》中提出。该模型通过以下创新点优化了RT-DETR：

• 选择性多尺度特征提取
• 兼容性更强的离散采样算子
• 动态数据增强和尺度自适应超参数等训练策略 在保持实时性能的同时显著提升了灵活性和实用性。

模型贡献者：@jadechoghari
协作开发者：@cyrilvallez 和 @qubvel-hf

性能表现

RT-DETRv2在保持相同实时速度的前提下，所有模型尺寸均超越前代性能。

使用指南

import torch
import requests
from PIL import Image
from transformers import RTDetrV2ForObjectDetection, RTDetrImageProcessor

# 加载示例图像
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

# 初始化处理器和模型
image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_v2_r101vd")
model = RTDetrV2ForObjectDetection.from_pretrained("PekingU/rtdetr_v2_r101vd")

# 处理输入并推理
inputs = image_processor(images=image, return_tensors="pt")
with torch.no_grad():
     outputs = model(**inputs)

# 解析检测结果
results = image_processor.post_process_object_detection(
    outputs, 
    target_sizes=torch.tensor([(image.height, image.width)]), 
    threshold=0.5
)

# 打印检测结果
for result in results:
     for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
         score, label = score.item(), label_id.item()
         box = [round(i, 2) for i in box.tolist()]
         print(f"{model.config.id2label[label]}: {score:.2f} {box}")

示例输出：

猫: 0.97 [341.14, 25.11, 639.98, 372.89]
猫: 0.96 [12.78, 56.35, 317.67, 471.34]
遥控器: 0.95 [39.96, 73.12, 175.65, 117.44]
沙发: 0.86 [-0.11, 2.97, 639.89, 473.62]
沙发: 0.82 [-0.12, 1.78, 639.87, 473.52]
遥控器: 0.79 [333.65, 76.38, 370.69, 187.48]

训练细节

训练数据：COCO train2017数据集
验证数据：COCO val2017数据集
评估指标：

• 标准AP指标（IoU阈值0.50-0.95，步长0.05）
• 实际场景常用的APval50指标

应用场景

RT-DETRv2特别适用于以下实时目标检测场景：

• 自动驾驶系统
• 安防监控网络
• 机器人视觉
• 零售分析系统

其增强的灵活性和部署友好设计，使其既能适配边缘设备，也能胜任大规模系统部署，在动态现实环境中确保高精度与高速度的完美平衡。