许可协议：apache-2.0
标签：

• 图像分类
  数据集：
• Face-Mask18K

面向口罩检测的蒸馏式数据高效图像Transformer模型

本模型为蒸馏式数据高效图像Transformer（DeiT），基于自构建的Face-Mask18K数据集（1.8万张图像，2个类别）在224x224分辨率下进行预训练与微调。该模型由Touvron等人在论文《通过注意力机制训练数据高效图像Transformer及蒸馏》中首次提出。

模型描述

该模型属于蒸馏版视觉Transformer（ViT）。除分类标记外，它额外采用蒸馏标记，在预训练和微调阶段均能有效向教师模型（CNN）学习。蒸馏标记通过反向传播与分类标记（[CLS]）及图像块标记在自注意力层中交互学习。

图像以固定尺寸块序列（16x16分辨率）形式输入模型，经线性嵌入处理。

训练指标

训练轮次               =        2.0  
总浮点运算量           = 2078245655GF  
训练损失值             =       0.0438  
训练总耗时             =   1:37:16.87  
每秒训练样本数         =        9.887  
每秒训练步数           =        0.309  

评估指标

评估轮次               =        2.0  
评估准确率             =     0.9922  
评估损失值             =     0.0271  
评估总耗时             = 0:03:17.36  
每秒评估样本数         =      18.22  
每秒评估步数           =       2.28