标签:

• dino
• 视觉

数据集:

• imagenet-1k

DINO ResNet-50

使用DINO预训练的ResNet-50模型。DINO方法出自论文《自监督视觉Transformer中的新兴特性》(https://arxiv.org/abs/2104.14294)，而ResNet架构则源自《深度残差学习在图像识别中的应用》(https://arxiv.org/abs/1512.03385)。官方DINO ResNet-50实现可在此处获取(https://github.com/facebookresearch/dino)。

权重文件通过此脚本(https://colab.research.google.com/drive/1Ax3IDoFPOgRv4l7u6uS8vrPf4TX827BK?usp=sharing)从官方DINO ResNet模型(https://github.com/facebookresearch/dino#pretrained-models-on-pytorch-hub)转换而来。

最新模型卡片信息请参见原始仓库(https://github.com/facebookresearch/dino)。

使用方法

注意：本仓库中的特征提取器复制自微软ResNet-50模型(https://huggingface.co/microsoft/resnet-50)，尚未验证其图像预处理方式是否与DINO ResNet-50完全一致。

from transformers import AutoFeatureExtractor, ResNetModel
from PIL import Image
import requests

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = AutoFeatureExtractor.from_pretrained('Ramos-Ramos/dino-resnet-50')
model = ResNetModel.from_pretrained('Ramos-Ramos/dino-resnet-50')
inputs = feature_extractor(images=image, return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

引用文献

@article{DBLP:journals/corr/abs-2104-14294,
  作者    = {Mathilde Caron 等},
  标题    = {自监督视觉Transformer中的新兴特性},
  期刊    = {CoRR},
  卷号    = {abs/2104.14294},
  年份    = {2021},
  网址    = {https://arxiv.org/abs/2104.14294},
  归档前缀 = {arXiv},
  电子版   = {2104.14294},
  时间戳  = {2021年5月4日},
  bib来源 = {dblp计算机科学文献库}
}

@inproceedings{he2016deep,
  标题={深度残差学习在图像识别中的应用},
  作者={何恺明 等},
  会议名称={IEEE计算机视觉与模式识别会议},
  页码={770--778},
  年份={2016}
}