库名称: transformers
许可证: apache-2.0
支持语言:

• 英文
  任务标签: 目标检测
  标签:
• 目标检测
• 视觉
  数据集:
• coco
  示例展示:
• 图片链接: >-
  https://huggingface.co/datasets/mishig/sample_images/resolve/main/savanna.jpg
  示例标题: 热带草原
• 图片链接: >-
  https://huggingface.co/datasets/mishig/sample_images/resolve/main/football-match.jpg
  示例标题: 足球比赛
• 图片链接: >-
  https://huggingface.co/datasets/mishig/sample_images/resolve/main/airport.jpg
  示例标题: 机场

RT-DETRv2 实时检测变压器改进版

模型概述

RT-DETRv2模型由吕文宇、赵一安、常钦尧、黄奎、王冠中和刘毅在论文《RT-DETRv2：基于免费技巧改进的实时检测变压器基线》中提出。该模型通过以下创新点优化了RT-DETR架构：

• 选择性多尺度特征提取
• 离散采样算子提升部署兼容性
• 动态数据增强和尺度自适应超参数等训练策略改进 在保持实时性能的同时显著提升了模型的灵活性和实用性。

本模型由@jadechoghari在@cyrilvallez和@qubvel-hf的协助下贡献。

性能表现

RT-DETRv2在所有模型尺寸上均超越前代模型，同时保持相同的实时推理速度。

使用方法

import torch
import requests
from PIL import Image
from transformers import RTDetrV2ForObjectDetection, RTDetrImageProcessor

# 加载示例图像
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

# 初始化处理器和模型
image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_v2_r18vd")
model = RTDetrV2ForObjectDetection.from_pretrained("PekingU/rtdetr_v2_r18vd")

# 处理图像并推理
inputs = image_processor(images=image, return_tensors="pt")
with torch.no_grad():
     outputs = model(**inputs)

# 解析检测结果
results = image_processor.post_process_object_detection(
     outputs, 
     target_sizes=torch.tensor([(image.height, image.width)]), 
     threshold=0.5
)

# 打印检测结果
for result in results:
     for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
         print(f"{model.config.id2label[label_id.item()]}: {score.item():.2f} {[round(i, 2) for i in box.tolist()}")

示例输出:

猫: 0.97 [341.14, 25.11, 639.98, 372.89]
猫: 0.96 [12.78, 56.35, 317.67, 471.34]
遥控器: 0.95 [39.96, 73.12, 175.65, 117.44]
沙发: 0.86 [-0.11, 2.97, 639.89, 473.62]
沙发: 0.82 [-0.12, 1.78, 639.87, 473.52]
遥控器: 0.79 [333.65, 76.38, 370.69, 187.48]

训练数据

模型基于COCO 2017训练集(Lin等人[2014])训练，并在COCO 2017验证集上评估。我们报告了标准AP指标(在0.50-0.95 IoU阈值范围内以0.05为步长均匀采样取平均)以及实际场景常用的APval50指标。

应用场景

RT-DETRv2特别适合以下实时目标检测场景：

• 自动驾驶系统
• 安防监控系统
• 机器人视觉
• 零售分析领域

其增强的灵活性和部署友好设计，使其既能适配边缘设备也能应用于大型系统，在动态现实环境中确保高精度与高速度的完美平衡。