许可协议：Apache-2.0
标签：

• 图像分类
  数据集：
• Face-Mask18K

用于口罩检测的视觉Transformer（ViT）模型

本视觉Transformer（ViT）模型基于自建Face-Mask18K数据集（1.8万张图像，2个类别）在224x224分辨率下进行预训练与微调。该架构首次由Touvron等人在论文《通过注意力机制训练数据高效的图像Transformer及蒸馏》中提出，随后Dosovitskiy等人在论文《一幅图像等价于16x16词汇：大规模图像识别的Transformer应用》中进一步阐述。

模型描述

视觉Transformer（ViT）是一种类似BERT的Transformer编码器模型，以监督学习方式在ImageNet-21k大规模图像集（224x224分辨率）上完成预训练。

图像输入被处理为固定尺寸（16x16）的序列化图像块，经线性嵌入后送入模型。序列起始位置添加了[CLS]分类令牌，并引入绝对位置编码后输入Transformer编码器层。需注意：本模型未包含微调头部（已被谷歌研究人员置零），但保留的预训练池化器可用于下游任务（如图像分类）。

通过预训练过程，模型学习到图像的内在表征，可提取适用于下游任务的特征。例如对于已标注图像数据集，只需在预训练编码器顶部添加线性层即可构建标准分类器。通常将线性层置于[CLS]令牌对应的最终隐藏状态上，该状态可视为整幅图像的语义表征。

训练指标

训练轮次            =        0.89  
总浮点运算量        = 923776502GF  
训练损失            =       0.057  
训练耗时            =  40分10.40秒  
样本训练速度        =      23.943/秒  
步数训练速度        =       1.497/秒  

评估指标

测试轮次            =       0.89  
评估准确率          =     0.9894  
评估损失            =     0.0395  
评估耗时            =     36.81秒  
样本评估速度        =     97.685/秒  
步数评估速度        =     12.224/秒