library_name: transformers
license: cc-by-nc-4.0
inference: false

Web-SSL DINO ViT-3B：轻过滤2B MetaCLIP数据，224分辨率

这是一个30亿参数的视觉Transformer（ViT）模型，采用DINOv2自监督学习方法在轻过滤的网络规模图像数据上训练，无需语言监督。该模型在论文《无语言视觉表征学习的规模化探索》（Fan等，2025）中首次提出。

模型详情

• 架构：ViT（宽度3072，深度26，24个头）
• 参数量：30亿
• 分辨率：224×224像素
• 训练：基于轻过滤MetaCLIP数据的自监督Web-DINO训练

模型描述

Web-SSL DINO 3B是一个30亿参数的视觉Transformer模型，通过自监督学习在轻过滤的网络图像上训练，无需语言监督。"light2b"表示训练数据为包含任意文本内容的图像子集，保留了原始MetaCLIP数据集中约50.3%的样本。这种过滤方式提升了OCR和图表理解能力，同时在所有视觉任务中保持强劲性能。该模型证明，当规模适当时，纯视觉学习方法可以匹配甚至超越CLIP等语言监督模型在各种视觉任务中的表现。

使用方式

from transformers import AutoImageProcessor, Dinov2Model  
import torch  
from PIL import Image  

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino3b-light2b-224')  
model = Dinov2Model.from_pretrained('facebook/webssl-dino3b-light2b-224')  

# 处理图像  
image = Image.open('路径/图像.jpg')  
inputs = processor(images=image, return_tensors="pt")  
with torch.no_grad():  
    outputs = model(**inputs)  

cls_features = outputs.last_hidden_state[:, 0]  # CLS标记特征  
patch_features = outputs.last_hidden_state[:, 1:]  # 分块标记特征  

引用

@article{fan2025scaling,  
  title={Scaling Language-Free Visual Representation Learning},   
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},  
  year={2025},  
  eprint={2504.01017},  
  archivePrefix={arXiv},  
  primaryClass={cs.CV}  
}