🚀 vit-base-oxford-iiit-pets

该模型是图像分类领域的有力工具，它基于预训练的视觉变换器进行微调，能在牛津-IIIT宠物数据集上精准识别37种不同的猫狗品种，为宠物品种分类等相关任务提供了高效的解决方案。

🚀 快速开始

此模型是 google/vit-base-patch16-224 在 pcuenq/oxford-pets 数据集上的微调版本。它在评估集上取得了以下结果：

• 损失值：0.1924
• 准确率：0.9445

✨ 主要特性

模型描述

该模型是预训练视觉变换器（google/vit-base-patch16-224）的微调版本，用于在牛津-IIIT宠物数据集上进行图像分类。它采用迁移学习的方法，将通用视觉模型调整为可识别37种不同猫狗品种的模型。模型头部经过调整，以输出数据集中的类别数量，并使用标准分类损失进行端到端训练。

预期用途与局限性

预期用途：

• 用于迁移学习和微调视觉模型的教育演示。
• 在与牛津宠物数据集类似的结构化数据集中进行宠物品种分类。
• 与CLIP等零样本模型进行比较分析。

局限性：

• 对于牛津-IIIT数据集中未包含的品种，泛化能力可能不佳。
• 不适合用于现实世界的医疗或安全关键应用。
• 输入图像应清晰、居中，且风格与训练数据（裁剪后的宠物肖像）相近。

训练和评估数据

该模型在 牛津-IIIT宠物数据集 上进行训练和评估，该数据集包含7349张涵盖37种不同品种的猫狗图像。数据集对宠物进行了均衡表示，并划分为训练集、验证集和测试集。使用的评估指标包括准确率、精确率和召回率。

训练过程

训练超参数

训练期间使用了以下超参数：

训练结果

零样本分类评估（CLIP）

使用 零样本图像分类模型：openai/clip-vit-base-patch32 对牛津-IIIT宠物数据集进行评估。CLIP模型未经过训练，而是使用品种名称列表（如“暹罗猫”、“波斯猫”、“吉娃娃”）作为候选标签进行零样本分类评估。

评估结果

• 准确率：0.8800
• 精确率：0.8768
• 召回率：0.8800

框架版本

• Transformers 4.50.0
• Pytorch 2.6.0+cu124
• Datasets 3.4.1
• Tokenizers 0.21.1

📄 许可证

本项目采用 Apache-2.0 许可证。