library_name: transformers license: cc-by-nc-4.0 inference: false

Web-SSL DINO ViT-2B：20亿参数版（MetaCLIP数据，224分辨率）

这是一个拥有20亿参数的视觉Transformer（ViT）模型，采用DINOv2自监督学习框架在无需语言监督的网页规模图像数据上训练而成。该模型首次发表于论文《无语言视觉表征学习的规模化探索》（范等人，2025年）。

模型详情

• 架构：视觉Transformer（宽度2688，深度24层，21个注意力头）
• 参数量：20亿
• 分辨率：224×224像素
• 训练：基于MetaCLIP网络数据中的20亿图像样本进行Web-DINO自监督训练

模型描述

Web-SSL DINO 2B是在20亿网络图像上通过纯视觉自监督学习训练的20亿参数视觉Transformer模型。该研究表明，经过适当规模化的纯视觉学习，可以在各类视觉任务中达到或超越CLIP等语言监督模型的性能。该模型在传统视觉基准测试以及视觉问答、OCR和图表理解等多模态任务中均表现优异。

使用方式

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino2b-full2b-224')
# 支持'eager'和'sdpa'两种注意力实现方式
model = Dinov2Model.from_pretrained('facebook/webssl-dino2b-full2b-224')

# 处理图像
image = Image.open('图片路径.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

cls_features = outputs.last_hidden_state[:, 0]  # 获取CLS标记特征
patch_features = outputs.last_hidden_state[:, 1:] # 获取分块标记特征

引用文献

@article{fan2025scaling,
  title={无语言视觉表征学习的规模化探索}, 
  author={范大卫 and 童圣邦 and 朱家琛 and 辛哈·考斯特夫 and 刘壮 and 陈新雷 and 迈克尔·拉巴特 and 尼古拉斯·巴拉斯 and 杨立昆 and 阿米尔·巴尔 and 谢赛宁},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}