数据集:

• Matthijs/snacks 模型索引:
• 名称: matteopilotto/vit-base-patch16-224-in21k-snacks 结果:
  • 任务: 类型: 图像分类 名称: 图像分类 数据集: 名称: Matthijs/snacks 类型: Matthijs/snacks 配置: 默认 分割: 测试 指标:
    • 名称: 准确率 类型: 准确率 值: 0.8928571428571429 已验证: 是
    • 名称: 宏平均精确率 类型: 精确率 值: 0.8990033704680036 已验证: 是
    • 名称: 微平均精确率 类型: 精确率 值: 0.8928571428571429 已验证: 是
    • 名称: 加权平均精确率 类型: 精确率 值: 0.8972398709051788 已验证: 是
    • 名称: 宏平均召回率 类型: 召回率 值: 0.8914608843537415 已验证: 是
    • 名称: 微平均召回率 类型: 召回率 值: 0.8928571428571429 已验证: 是
    • 名称: 加权平均召回率 类型: 召回率 值: 0.8928571428571429 已验证: 是
    • 名称: 宏平均F1分数 类型: f1 值: 0.892544821273258 已验证: 是
    • 名称: 微平均F1分数 类型: f1 值: 0.8928571428571429 已验证: 是
    • 名称: 加权平均F1分数 类型: f1 值: 0.8924168605019522 已验证: 是
    • 名称: 损失值 类型: 损失 值: 0.479541540145874 已验证: 是

在Matthijs/snacks数据集上微调的Vision Transformer

Vision Transformer (ViT)模型在ImageNet-21k上预训练，并在Matthijs/snacks数据集上使用torchvision提供的多种数据增强变换进行了5个周期的微调。

该模型在验证集和测试集上分别达到了**94.97%和94.43%**的准确率。

数据增强流程

以下代码块展示了在预处理阶段应用的各种变换，用于增强原始数据集。 增强后的图像通过set_transform方法动态生成。

from transformers import ViTFeatureExtractor
from torchvision.transforms import (
    Compose,
    Normalize,
    Resize,
    RandomResizedCrop,
    RandomHorizontalFlip,
    RandomAdjustSharpness,
    ToTensor
)

checkpoint = 'google/vit-base-patch16-224-in21k'
feature_extractor = ViTFeatureExtractor.from_pretrained(checkpoint)

# 训练集上的变换
train_aug_transforms = Compose([
    RandomResizedCrop(size=feature_extractor.size),
    RandomHorizontalFlip(p=0.5),
    RandomAdjustSharpness(sharpness_factor=5, p=0.5),
    ToTensor(),
    Normalize(mean=feature_extractor.image_mean, std=feature_extractor.image_std),
])

# 验证/测试集上的变换
valid_aug_transforms = Compose([
    Resize(size=(feature_extractor.size, feature_extractor.size)),
    ToTensor(),
    Normalize(mean=feature_extractor.image_mean, std=feature_extractor.image_std),
])