library_name: transformers license: cc-by-nc-4.0 inference: false

Web-SSL MAE ViT-1B：基于20亿MetaCLIP数据的224分辨率模型

这是一个拥有10亿参数的视觉Transformer（ViT）模型，采用掩码自编码器（MAE）自监督学习方法，在不依赖语言监督的情况下对网络规模图像数据进行训练。该模型在论文《无语言视觉表征学习的规模化探索》（Fan等人，2025年）中首次提出。

模型详情

• 架构：ViT（宽度1536，深度40，24个头）
• 参数量：10亿
• 分辨率：224×224像素
• 训练：基于MetaCLIP网络数据中的20亿图像样本进行Web-MAE自监督训练

模型描述

Web-SSL MAE 1B是一个参数量达10亿的视觉Transformer模型，通过掩码自编码器自监督学习方法在20亿网络图像上训练，全程无需语言监督。该模型证明：当规模适当时，纯视觉学习方法可以在各类视觉任务中达到或超越CLIP等语言监督模型的性能。Web-MAE在OCR和图表理解任务中表现尤为突出，同时在传统视觉基准测试和多模态任务中保持竞争力。

使用方法

from transformers import AutoImageProcessor, ViTModel
import torch
from PIL import Image

# 可自定义调整size、crop_size等参数
processor = AutoImageProcessor.from_pretrained('facebook/webssl-mae1b-full2b-224')
model = ViTModel.from_pretrained('facebook/webssl-mae1b-full2b-224').cuda().eval()

# 处理图像
image = Image.open('图片路径.jpg')
inputs = processor(images=image, return_tensors="pt").to('cuda')
with torch.no_grad():
    outputs = model(**inputs)

# 提取编码器特征
encoder_hidden_states = outputs.last_hidden_state

引用文献

@article{fan2025scaling,
  title={无语言视觉表征学习的规模化探索}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}