基础模型:

• openai/clip-vit-base-patch32 数据集:
• tanganke/stanford_cars 评估指标:
• 准确率

模型卡片

模型详情

• 架构: 采用32像素块大小的ViT-Base视觉变换器
• 训练数据: 斯坦福汽车数据集

训练细节

使用Adam优化器，恒定学习率1e-5，批量大小32，共训练4000步。 仅对视觉编码器进行微调。

评估结果

• 预训练模型准确率: 0.5987
• 微调后准确率: 0.7819

使用方式

加载视觉模型

from transformers import CLIPVisionModel

vision_model = CLIPVisionModel.from_pretrained('tanganke/clip-vit-base-patch32_stanford-cars')

替换CLIP模型的视觉编码器

from transformers import CLIPModel

clip_model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
clip_model.vision_model.load_state_dict(vision_model.vision_model.state_dict())