library_name: transformers license: cc-by-nc-4.0 inference: false

Web-SSL DINO ViT-300M：基于20亿MetaCLIP数据的224分辨率模型

这是一个参数量达3亿的视觉Transformer（ViT）模型，采用DINOv2自监督学习方法在无需语言监督的网络规模图像数据上训练而成。该模型首次发表于论文《扩展无语言视觉表征学习》（范等人，2025年）。

模型详情

• 架构：ViT（宽度1536，深度40，24个注意力头）
• 参数量：3亿
• 分辨率：224×224像素
• 训练：基于MetaCLIP网络数据中的20亿图像样本进行Web-DINO自监督训练

模型描述

Web-SSL DINO 300M是一个参数量达3亿的视觉Transformer模型，通过自监督学习在20亿网络图像上训练而成，全程无需语言监督。该模型证明，当规模适当时，纯视觉学习方法在各种视觉任务上的表现可以媲美甚至超越CLIP等语言监督模型。

使用方式

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino300m-full2b-224')
model = Dinov2Model.from_pretrained('facebook/webssl-dino300m-full2b-224')

# 处理图像
image = Image.open('图片路径.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

cls_features = outputs.last_hidden_state[:, 0]  # CLS标记特征
patch_features = outputs.last_hidden_state[:, 1:] # 分块标记特征

引用文献

@article{fan2025scaling,
  title={扩展无语言视觉表征学习}, 
  author={范大卫、童胜邦、朱家琛、辛哈·考斯特夫、刘壮、陈新雷、迈克尔·拉巴特、尼古拉斯·巴拉斯、杨立昆、阿米尔·巴尔、谢赛宁},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}