license: apache-2.0
tags:

• dino
• vision
  datasets:
• imagenet-1k

基于DINO训练的视觉Transformer模型（基础尺寸，16×16图像块）

该视觉Transformer（ViT）模型采用DINO方法训练，相关论文为Mathilde Caron、Hugo Touvron等研究者发表的《自监督视觉Transformer的新兴特性》，最初发布于此代码库。

免责声明：DINO发布团队未提供本模型的说明文档，本文档由Hugging Face团队撰写。

模型描述

视觉Transformer（ViT）是一种基于Transformer编码器架构（类似BERT）的模型，通过自监督方式在ImageNet-1k数据集（224×224像素分辨率）上进行预训练。图像被处理为16×16像素的线性嵌入块序列，并在序列开头添加[CLS]分类令牌用于分类任务。输入Transformer编码器层前会加入绝对位置嵌入。

注：该模型未包含任何微调头部。

通过预训练，模型可学习图像的内在表示，进而提取适用于下游任务的特征。例如对于已标注图像数据集，可在预训练编码器顶部添加线性层训练标准分类器。通常将线性层置于[CLS]令牌之上，因其最终隐藏状态可视为整张图像的语义表征。

使用场景与限制

该原始模型可用于图像分类任务。访问模型中心可查找针对特定任务的微调版本。

使用方法

from transformers import ViTImageProcessor, ViTModel  
from PIL import Image  
import requests  

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'  
image = Image.open(requests.get(url, stream=True).raw)  

processor = ViTImageProcessor.from_pretrained('facebook/dino-vitb16')  
model = ViTModel.from_pretrained('facebook/dino-vitb16')  

inputs = processor(images=image, return_tensors="pt")  
outputs = model(**inputs)  
last_hidden_states = outputs.last_hidden_state  

引用信息

@article{DBLP:journals/corr/abs-2104-14294,  
  author    = {Mathilde Caron and  
               Hugo Touvron and  
               Ishan Misra and  
               Herv{\'{e}} J{\'{e}}gou and  
               Julien Mairal and  
               Piotr Bojanowski and  
               Armand Joulin},  
  title     = {Emerging Properties in Self-Supervised Vision Transformers},  
  journal   = {CoRR},  
  volume    = {abs/2104.14294},  
  year      = {2021},  
  url       = {https://arxiv.org/abs/2104.14294},  
  archivePrefix = {arXiv},  
  eprint    = {2104.14294},  
  timestamp = {Tue, 04 May 2021 15:12:43 +0200},  
  biburl    = {https://dblp.org/rec/journals/corr/abs-2104-14294.bib},  
  bibsource = {dblp computer science bibliography, https://dblp.org}  
}