license: apache-2.0 tags:

• dino
• 视觉

使用DINOv2训练的视觉Transformer（巨型模型）

本模型为采用DINOv2方法训练的视觉Transformer（ViT）模型，由Oquab等人在论文《DINOv2: 无监督学习鲁棒视觉特征》中提出，并首发于此代码库。

免责声明：DINOv2发布团队未编写此模型卡片，本卡片由Hugging Face团队撰写。

模型描述

视觉Transformer（ViT）是一种通过自监督方式在海量图像上预训练的Transformer编码器模型（类BERT架构）。

图像以固定尺寸的切片序列形式输入模型，经线性嵌入处理。序列首部会添加[CLS]标记用于分类任务，在输入Transformer编码器层前还会加入绝对位置嵌入。

需注意，该模型未包含任何微调头部。

通过预训练，模型可学习图像的内在表征，进而提取适用于下游任务的特征：例如若您拥有带标注的图像数据集，可在预训练编码器顶部添加线性层来训练标准分类器。通常会在[CLS]标记的最终隐藏状态上添加线性层，因该标记可视为整幅图像的语义表征。

应用场景与限制

您可将原始模型用于特征提取。访问模型中心寻找针对特定任务的微调版本。

使用方法

调用方式如下：

from transformers import AutoImageProcessor, AutoModel
from PIL import Image
import requests

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained('facebook/dinov2-giant')
model = AutoModel.from_pretrained('facebook/dinov2-giant')

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

BibTeX引用信息

misc{oquab2023dinov2,
      title={DINOv2: 无监督学习鲁棒视觉特征}, 
      author={Maxime Oquab, Timothée Darcet, Théo Moutakanni, Huy Vo, Marc Szafraniec, Vasil Khalidov, Pierre Fernandez, Daniel Haziza, Francisco Massa, Alaaeldin El-Nouby, Mahmoud Assran, Nicolas Ballas, Wojciech Galuba, Russell Howes, Po-Yao Huang, Shang-Wen Li, Ishan Misra, Michael Rabbat, Vasu Sharma, Gabriel Synnaeve, Hu Xu, Hervé Jegou, Julien Mairal, Patrick Labatut, Armand Joulin, Piotr Bojanowski},
      year={2023},
      eprint={2304.07193},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}