library_name: transformers license: cc-by-nc-4.0 inference: false

Web-SSL DINO ViT-10亿参数模型：基于20亿MetaCLIP数据，224分辨率

这是一个通过DINOv2自监督学习在无需语言监督的网络规模图像数据上训练的10亿参数视觉Transformer（ViT）模型。该模型在论文"Scaling Language-Free Visual Representation Learning"（Fan等人，2025年）中首次提出。

模型详情

• 架构：ViT（宽度1536，深度40，24个头）
• 参数量：10亿
• 分辨率：224×224像素
• 训练：基于MetaCLIP网络数据中的20亿图像样本进行自监督Web-DINO训练

模型描述

Web-SSL DINO 10亿参数模型是在无需语言监督的情况下，通过自监督学习对20亿网络图像进行训练的视觉Transformer模型。该模型证明，当规模适当时，纯视觉学习可以在各种视觉任务中达到或超过CLIP等语言监督模型的性能。

使用方法

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino1b-full2b-224')
# 支持'eager'和'sdpa'注意力实现方式
model = Dinov2Model.from_pretrained('facebook/webssl-dino1b-full2b-224')

# 处理图像
image = Image.open('图片路径.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

cls_features = outputs.last_hidden_state[:, 0]  # CLS标记特征
patch_features = outputs.last_hidden_state[:, 1:] # 分块标记特征

引用文献

@article{fan2025scaling,
  title={Scaling Language-Free Visual Representation Learning}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}