库名称：transformers
许可证：cc-by-nc-4.0
推理支持：否

Web-SSL DINO ViT-2B：轻过滤20亿参数MetaCLIP数据，224分辨率

这是一个基于DINOv2自监督学习框架训练的20亿参数视觉Transformer（ViT）模型，使用轻过滤的网络规模图像数据（无需语言监督）。该模型由论文《无语言视觉表征学习的规模化探索》（Fan等，2025）首次提出。

模型详情

• 架构：ViT（宽度2688，深度24，21个头）
• 参数量：20亿
• 分辨率：224×224像素
• 训练：基于轻过滤MetaCLIP数据的自监督Web-DINO训练

模型描述

Web-SSL DINO 2B是在无语言监督条件下，通过轻过滤网络图像进行自监督训练的20亿参数视觉Transformer模型。"light2b"标识表示训练数据为包含任意文本内容的图像子集（保留约50.3%原始MetaCLIP数据集）。这种过滤方式在保持所有视觉任务强劲表现的同时，显著提升了OCR和图表理解能力。该模型证明：当规模适当时，纯视觉学习方案可以匹配甚至超越CLIP等语言监督模型在各种视觉任务中的表现。

使用方式

from transformers import AutoImageProcessor, Dinov2Model  
import torch  
from PIL import Image  

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino2b-light2b-224')  
model = Dinov2Model.from_pretrained('facebook/webssl-dino2b-light2b-224')  

# 处理图像  
image = Image.open('图片路径.jpg')  
inputs = processor(images=image, return_tensors="pt")  
with torch.no_grad():  
    outputs = model(**inputs)  

cls_features = outputs.last_hidden_state[:, 0]  # CLS标记特征  
patch_features = outputs.last_hidden_state[:, 1:] # 分块标记特征  

引用文献

@article{fan2025scaling,  
  title={Scaling Language-Free Visual Representation Learning},   
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},  
  year={2025},  
  eprint={2504.01017},  
  archivePrefix={arXiv},  
  primaryClass={cs.CV}  
}