许可协议：apache-2.0
标签：

• 图像分类
• 视觉
  数据集：
• imagenet
• imagenet-1k

Data2Vec-Vision（基础尺寸模型，仅预训练）

BEiT模型以自监督方式在ImageNet-1k（120万张图像，1000个类别）224x224分辨率下进行预训练。该模型由Alexei Baevski、Wei-Ning Hsu、Qiantong Xu、Arun Babu、Jiatao Gu和Michael Auli在论文data2vec：语音、视觉和语言自监督学习的通用框架中提出，并首次发布于此代码库。

免责声明：发布该模型的Facebook团队未编写模型卡片，因此本模型卡片由Hugging Face团队撰写。

预训练方法

更多信息请参阅官方论文。

摘要

尽管自监督学习的核心理念在不同模态中是相同的，但由于算法和目标是针对单一模态开发的，实际差异很大。为了更接近通用的自监督学习，我们提出了data2vec框架，该框架对语音、自然语言处理或计算机视觉使用相同的学习方法。其核心思想是在自蒸馏设置中，基于输入的掩码视图，使用标准Transformer架构预测完整输入数据的潜在表示。与预测局部性质的目标（如词语、视觉标记或人类语音单元）不同，data2vec预测包含整个输入信息的上下文潜在表示。在语音识别、图像分类和自然语言理解的主要基准测试中，实验表明其性能达到了新的最先进水平或与主流方法相当。

预期用途与限制

您可以将原始模型用于图像分类任务。请访问模型中心查找针对您感兴趣任务的微调版本。

训练数据

BEiT模型在ImageNet-1k上进行了预训练，该数据集包含120万张图像和1000个类别。

训练流程

预处理

训练/验证期间图像预处理的具体细节可在此处找到。

图像被调整/缩放到相同分辨率（224x224），并通过RGB通道的均值（0.5, 0.5, 0.5）和标准差（0.5, 0.5, 0.5）进行归一化。

预训练

所有预训练相关的超参数，请参考原始论文和原始代码库。

评估结果

关于多个图像分类基准的评估结果，请参阅原始论文的表1。请注意，微调时，更高分辨率会获得最佳结果。当然，增加模型尺寸也会提升性能。

BibTeX条目及引用信息

@misc{https://doi.org/10.48550/arxiv.2202.03555,  
  doi = {10.48550/ARXIV.2202.03555},  
  url = {https://arxiv.org/abs/2202.03555},  
  author = {Baevski, Alexei and Hsu, Wei-Ning and Xu, Qiantong and Babu, Arun and Gu, Jiatao and Auli, Michael},  
  keywords = {Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences},  
  title = {data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language},  
  publisher = {arXiv},  
  year = {2022},  
  copyright = {arXiv.org perpetual, non-exclusive license}  
}