基础模型: openai/clip-vit-base-patch32 标签:

• 训练生成 模型索引:
• 名称: clip-fine-tuned-satellite-20240821 结果: [] 许可证: mit 数据集:
• blanchon/UC_Merced 指标:
• 准确率 库名称: transformers

卫星图像微调CLIP模型

该模型是基于openai/clip-vit-base-patch32在blanchon/UC_Merced数据集上微调的版本。
在测试集上取得如下结果:
-准确率: 96.9%
原始CLIP模型的准确率为58.8%。

模型描述

本模型是CLIP的微调版本。
仅经过2个训练周期，通过重新训练30%的参数就实现了准确率的显著提升。

用途与限制

该模型用于卫星图像分类。
训练使用的UC_Merced数据集包含21个类别：农田、飞机、棒球场、海滩、建筑群、灌木丛、高密度住宅区、森林、高速公路、高尔夫球场、港口、十字路口、中等密度住宅区、移动房屋区、立交桥、停车场、河流、飞机跑道、低密度住宅区、储油罐、网球场

使用方式请参考CLIP文档或查看应用示例:
https://huggingface.co/spaces/NemesisAlm/clip-satellite-demo

训练与评估数据

30%的参数参与训练。
使用包含420张图像的测试集进行评估。

训练流程

训练超参数

训练过程中使用以下超参数:

• 学习率: 3e-05
• 训练批次大小: 64
• 评估批次大小: 64
• 随机种子: 42
• 优化器: 带betas=(0.9,0.999)和epsilon=1e-08的Adam
• 学习率调度器类型: 线性
• 训练周期数: 2
• 混合精度训练: 原生AMP

训练结果

框架版本

• Transformers 4.44.0
• Pytorch 2.4.0+cu121
• Datasets 2.20.0
• Tokenizers 0.19.1