library_name: transformers license: cc-by-nc-4.0 inference: false

Web-SSL DINO ViT-7B：80亿MetaCLIP数据，378分辨率

基于80亿无语言标注的网络图像数据，采用DINOv2自监督学习训练的70亿参数视觉Transformer（ViT）模型。相关论文《无语言视觉表征学习的规模化探索》（范等人，2025）详见arXiv。

模型详情

• 架构：ViT（4096宽度/32深度/32头）
• 参数量：70亿
• 分辨率：378×378像素
• 训练：基于MetaCLIP网络数据80亿图像样本的自监督Web-DINO训练

模型描述

Web-SSL DINO 7B是在80亿无语言标注网络图像上通过自监督学习训练的视觉Transformer模型。该模型证明：当训练规模足够大时，纯视觉学习方案在各类视觉任务上可达到或超越CLIP等语言监督模型的性能，在传统视觉基准测试及视觉问答、OCR与图表理解等多模态任务中均表现优异。

使用方式

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino7b-full8b-378')
model = Dinov2Model.from_pretrained('facebook/webssl-dino7b-full8b-378')

# 图像处理流程
image = Image.open('图像路径.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

cls_features = outputs.last_hidden_state[:, 0]  # CLS标记特征
patch_features = outputs.last_hidden_state[:, 1:] # 分块标记特征

引用文献

@article{fan2025scaling,
  title={无语言视觉表征学习的规模化探索}, 
  author={范大卫 and 佟胜邦 and 朱家琛 and 辛哈·考斯特夫 and 刘壮 and 陈新雷 and 拉巴特·迈克尔 and 尼古拉斯·巴拉斯 and 杨立昆 and 阿米尔·巴尔 and 谢赛宁},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}