library_name: transformers
license: cc-by-nc-4.0
inference: false

Web-SSL MAE ViT-H（7亿参数）：基于20亿MetaCLIP数据，224分辨率

这是一个7亿参数的视觉Transformer模型（ViT-H），采用掩码自编码器（MAE）自监督学习方法，在没有语言监督的情况下对网络规模图像数据进行训练。该模型由论文《无语言的大规模视觉表征学习》（范等人，2025年）提出。

模型详情

• 架构：ViT-H（超大）
• 参数量：7亿
• 分辨率：224×224像素
• 训练：基于MetaCLIP网络数据中的20亿图像样本进行自监督Web-MAE训练

模型描述

Web-SSL MAE ViT-H是一个7亿参数的视觉Transformer模型，通过掩码自编码器自监督学习在20亿网络图像上训练，无需语言监督。该模型证明，当规模适当时，纯视觉学习可以在各种视觉任务中匹配或超越CLIP等语言监督模型的性能。Web-MAE在OCR和图表理解任务中表现尤为突出，同时在传统视觉基准测试和多模态任务中保持竞争力。

使用方法

from transformers import AutoImageProcessor, ViTModel  
import torch  
from PIL import Image  

# 根据需要调整size、crop_size等字段  
processor = AutoImageProcessor.from_pretrained('facebook/webssl-mae700m-full2b-224')  
model = ViTModel.from_pretrained('facebook/webssl-mae700m-full2b-224').cuda().eval()  

# 处理图像  
image = Image.open('path/to/image.jpg')  
inputs = processor(images=image, return_tensors="pt").to('cuda')  
with torch.no_grad():  
    outputs = model(**inputs)  

# 从编码器提取特征  
encoder_hidden_states = outputs.last_hidden_state  

引用

@article{fan2025scaling,  
  title={Scaling Language-Free Visual Representation Learning},   
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},  
  year={2025},  
  eprint={2504.01017},  
  archivePrefix={arXiv},  
  primaryClass={cs.CV}  
}