许可证：apache-2.0
基础模型：google/vit-base-patch16-224-in21k
标签：

• generated_from_trainer
  数据集：
• imagefolder
  评估指标：
• accuracy
  模型索引：
• 名称：alzheimer-image-classification-google-vit-base-patch16
  结果：
  • 任务：
    名称：图像分类
    类型：image-classification
    数据集：
    名称：imagefolder
    类型：imagefolder
    配置：default
    拆分：train
    参数：default
    评估指标：
    • 名称：准确率
      类型：accuracy
      值：0.9261006289308176
      管道标签：image-classification

阿尔茨海默病图像分类-谷歌ViT基础版16x16补丁

该模型是基于google/vit-base-patch16-224-in21k在阿尔茨海默病MRI数据集上微调的版本。
在评估集上取得了以下结果：

• 损失：0.2127
• 准确率：0.9261

模型描述

Vision Transformer（ViT）是一种类似BERT的Transformer编码器模型，通过监督学习在ImageNet-21k的大规模图像集合上预训练，分辨率为224x224像素。

图像以固定大小（16x16）的补丁序列形式输入模型，并进行线性嵌入。序列开头会添加一个[CLS]标记用于分类任务。在将序列输入Transformer编码器层之前，还会添加绝对位置嵌入。

请注意，此模型不提供任何微调头部，因为这些已被谷歌研究人员清零。但模型包含预训练的池化器，可用于下游任务（如图像分类）。

通过预训练，模型学习了图像的内在表示，可用于提取对下游任务有用的特征：例如，如果有带标签的图像数据集，可以在预训练编码器顶部添加线性层来训练标准分类器。通常会在[CLS]标记顶部添加线性层，因为该标记的最后隐藏状态可视为整个图像的表示。

预期用途与限制

您可以将原始模型用于图像分类。查看模型中心以寻找您感兴趣任务的微调版本。

训练超参数

训练期间使用的超参数如下：

• 学习率：5e-05
• 训练批次大小：4
• 评估批次大小：4
• 随机种子：42
• 梯度累积步数：4
• 总训练批次大小：16
• 优化器：Adam，参数betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型：线性
• 学习率预热比例：0.1
• 训练轮次：10

训练结果

框架版本

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.3
• Tokenizers 0.13.3