library_name: transformers license: cc-by-nc-4.0 inference: false

Web-SSL DINO ViT-3B：基于20亿级严选MetaCLIP数据的224分辨率模型

这是一个通过DINOv2自监督学习框架训练、基于严格筛选的网络规模图像数据（无需语言监督）的30亿参数视觉Transformer模型（ViT）。该模型在论文《无语言监督的视觉表征学习规模化研究》（范等人，2025）中首次提出。

模型详情

• 架构：ViT（3072宽度/26深度/24头）
• 参数量：30亿
• 分辨率：224×224像素
• 训练：基于严选MetaCLIP数据的Web-DINO自监督训练

模型说明

Web-SSL DINO 3B是在严格筛选的网络图像上通过自监督学习训练的30亿参数视觉Transformer模型。"heavy2b"标识表明其训练数据是包含可读文本的图表、表格和文档图像子集，仅占原始MetaCLIP数据集的1.3%。这种针对性筛选在保持其他视觉任务强劲表现的同时，显著提升了OCR和图表理解能力。该模型证明：当规模适当时，纯视觉学习方法可以在各类视觉任务上达到或超越CLIP等语言监督模型的性能。

使用方式

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino3b-heavy2b-224')
model = Dinov2Model.from_pretrained('facebook/webssl-dino3b-heavy2b-224')

# 图像处理
image = Image.open('图片路径.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

cls_features = outputs.last_hidden_state[:, 0]  # CLS标记特征
patch_features = outputs.last_hidden_state[:, 1:] # 分块标记特征

引用文献

@article{fan2025scaling,
  title={无语言监督的视觉表征学习规模化研究}, 
  author={范大卫 and 童圣邦 and 朱家琛 and 辛哈·考斯特夫 and 刘壮 and 陈新雷 and 迈克尔·拉巴特 and 尼古拉斯·巴拉斯 and 杨立昆 and 巴尔·阿米尔 and 谢赛宁},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}