library_name: transformers license: cc-by-nc-4.0 inference: false

Web-SSL DINO ViT-3B：基于20亿MetaCLIP数据的224分辨率模型

这是一个通过DINOv2自监督学习在无需语言监督的网络规模图像数据上训练的30亿参数视觉Transformer（ViT）模型。该模型在论文《无语言视觉表征学习的规模化探索》（Fan等人，2025）中首次提出。

模型详情

• 架构：ViT（宽度3072，深度26，24个头）
• 参数量：30亿
• 分辨率：224×224像素
• 训练：基于MetaCLIP网络数据中的20亿图像样本进行Web-DINO自监督训练

模型描述

Web-SSL DINO 3B是一个在20亿网络图像上通过自监督学习训练的30亿参数视觉Transformer模型。该模型证明，当规模适当时，纯视觉学习可以在各种视觉任务中达到或超过CLIP等语言监督模型的性能。它在传统视觉基准测试以及包括视觉问答、OCR和图表理解在内的多模态任务中均表现优异。

使用方法

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino3b-full2b-224')
# 支持'eager'和'sdpa'两种注意力实现方式
model = Dinov2Model.from_pretrained('facebook/webssl-dino3b-full2b-224')

# 处理图像
image = Image.open('图片路径.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

cls_features = outputs.last_hidden_state[:, 0]  # CLS标记特征
patch_features = outputs.last_hidden_state[:, 1:] # 分块标记特征

引用文献

@article{fan2025scaling,
  title={无语言视觉表征学习的规模化探索}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}