库名称：transformers
许可证：cc-by-nc-4.0
推理支持：否

Web-SSL DINO ViT-2B：基于严格筛选的20亿参数MetaCLIP数据，224分辨率

这是一个拥有20亿参数的视觉Transformer（ViT）模型，采用DINOv2自监督学习方法，在未经语言监督的严格筛选网络规模图像数据上训练而成。该模型由论文《无语言监督的视觉表征学习规模化》（范等人，2025年）首次提出。

模型详情

• 架构：ViT（宽度2688，深度24，注意力头数21）
• 参数量：20亿
• 分辨率：224×224像素
• 训练方式：基于严格筛选MetaCLIP数据的自监督Web-DINO训练

模型描述

Web-SSL DINO 2B是一个20亿参数的视觉Transformer模型，通过自监督学习在严格筛选的网络图像（无语言监督）上训练而成。"heavy2b"标识表明其训练数据是明确包含图表、表格及可读文本文档的图像子集，仅占原始MetaCLIP数据集的1.3%。这种针对性筛选显著提升了OCR和图表理解能力，同时在其他视觉任务上保持强劲表现。该模型证明：当规模适当时，纯视觉学习方法能在各类视觉任务中匹配甚至超越CLIP等语言监督模型的性能。

使用方式

from transformers import AutoImageProcessor, Dinov2Model  
import torch  
from PIL import Image  

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino2b-heavy2b-224')  
model = Dinov2Model.from_pretrained('facebook/webssl-dino2b-heavy2b-224')  

# 处理图像  
image = Image.open('图片路径.jpg')  
inputs = processor(images=image, return_tensors="pt")  
with torch.no_grad():  
    outputs = model(**inputs)  

cls_features = outputs.last_hidden_state[:, 0]  # CLS标记特征  
patch_features = outputs.last_hidden_state[:, 1:] # 分块标记特征  

引用文献

@article{fan2025scaling,  
  title={无语言监督的视觉表征学习规模化},  
  author={范大卫 and 童胜邦 and 朱家琛 and 辛哈·考斯特夫 and 刘壮 and 陈新雷 and 迈克尔·拉巴特 and 尼古拉斯·巴拉斯 and 杨立昆 and 巴尔·阿米尔 and 谢赛宁},  
  year={2025},  
  eprint={2504.01017},  
  archivePrefix={arXiv},  
  primaryClass={cs.CV}  
}