许可证：MIT
语言：

• 英语
  库名称：keras
  标签：
• 代码
  流水线标签：图像分类

Pathway Vision Transformer 自述文件

PaViT 是由 Ajibola Emmanuel Oluwaseun 开发的基于 Pathway Vision Transformer（PaViT）的图像识别模型。该模型灵感来源于谷歌的 PaLM（Pathways Language Model），旨在展示小样本学习技术在图像识别任务中的潜力。

模型性能

PaViT 在 4GB 内存的 CPU 上训练，使用了 Kaggle 上 15 个类别的 15000 张图像数据集。在仅使用 4 个自注意力头的情况下，模型达到了 88% 的准确率。当自注意力头增加到 12 个，并配合 12 个线性堆叠层时，准确率进一步提升至 96%。这些结果表明，尽管训练数据集较小，模型在 CPU 上仍展现出卓越的性能和快速的训练速度。
上传的权重是在包含 3 个类别（猫、狗和野生动物）的图像数据集上训练的。

使用方法

通过使用仓库中提供的训练权重，该模型可用于图像识别任务。代码可修改以适配自定义数据集，并通过增加自注意力头和线性层进一步提升模型性能。

贡献

作者认为 PaViT 有潜力超越现有的 Vision Transformer 模型，并期待通过开发者和其他贡献者的努力推动其持续发展。
欢迎通过提交拉取请求为项目贡献力量。开发者也可报告问题或为项目建议新功能。

许可证

本项目采用 MIT 许可证。

使用指南

# 导入库  
!pip install huggingface_hub["tensorflow"]  
import matplotlib.pyplot as plt  
import cv2  
from huggingface_hub import from_pretrained_keras  

推理示例

# 加载模型  
model = from_pretrained_keras('Ajibola/PaViT')  
# 加载图像  
image = cv2.imread('图像路径')  
image = cv2.resize(image, (224, 224))  # 224 为默认图像尺寸  
image = image / image.max()  # 将图像归一化至 [0-1] 范围  
prediction = model.predict(image)  
prediction = np.argmax(prediction, axis=-1)  # 获取概率最高的类别