license: apache-2.0 tags:

• dino
• 视觉模型 datasets:
• imagenet-1k

基于DINOv2训练的视觉Transformer（小尺寸模型）

该视觉Transformer（ViT）模型采用DINOv2方法训练，由Oquab等人在论文《DINOv2: 无需监督学习鲁棒视觉特征》中提出，并首发于此代码库。

免责声明：DINOv2发布团队未为此模型编写说明卡片，本卡片由Hugging Face团队撰写。

模型描述

视觉Transformer（ViT）是一种基于Transformer编码器架构（类似BERT）的模型，通过自监督方式在大规模图像数据上预训练而成。

图像被处理为固定尺寸的图块序列并进行线性嵌入。序列前端会添加[CLS]标记用于分类任务，在输入Transformer编码器层前还会加入绝对位置嵌入。

需注意，该模型不包含任何微调头部。

通过预训练，模型学习到图像的内在表征，可提取适用于下游任务的特征：例如若拥有带标注的图像数据集，可在预训练编码器顶部添加线性层训练标准分类器。通常会在[CLS]标记顶部添加线性层，因其最终隐藏状态可视为整幅图像的语义表征。

使用场景与限制

该模型可用于ImageNet千类标签图像分类。访问模型中心可查找针对特定任务微调的其他版本。

使用方法

from transformers import AutoImageProcessor, AutoModelForImageClassification
from PIL import Image
import requests

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained('facebook/dinov2-small-imagenet1k-1-layer')
model = AutoModelForImageClassification.from_pretrained('facebook/dinov2-small-imagenet1k-1-layer')

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits
predicted_class_idx = logits.argmax(-1).item()
print("预测类别:", model.config.id2label[predicted_class_idx])

引用信息

misc{oquab2023dinov2,
      title={DINOv2: 无需监督学习鲁棒视觉特征}, 
      author={Maxime Oquab等},
      year={2023},
      eprint={2304.07193},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}