许可协议：apache-2.0
支持语言：

• 英语
  评估指标：
• 准确率
  任务标签：图像分类
  标签：
• 气候

模型描述

这是一个基于transformers的图像分类模型，采用迁移学习技术实现。预训练模型为在Imagenet-21k上训练的Vision Transformer。

数据集

所用数据集下载自Git仓库Agri-Hub/Space2Ground。本模型使用了街景图像切片文件夹，该数据集包含Mapillary街景图像中裁剪出的植被部分。更多细节请参阅链接中的Git仓库。

使用方法

您可以直接使用Hugging Face的transformers库中的pipeline类调用该模型：

>>>from transformers import pipeline  
>>>classifier = pipeline("image-classification", model="iammartian0/vegetation_classification_model")  
>>>classifier(image)  

或者通过Hosted inference API上传目标图像进行推理。

训练流程

预处理

根据父文件夹名称分配标签。

图像变换

对所有训练图像应用了torchvision.transforms中的RandomResizedCrop。

微调

模型在数据集上微调了四个epoch。

评估结果

模型的Top-1准确率达到0.929。

未来探索方向

• 训练多标签模型，使模型在分类植被的同时能判断图像来自左侧还是右侧
• 使用原始/初始街景图像集进行作物标签的细粒度分类

BibTeX引用信息

@misc{wu2020visual,  
      title={Visual Transformers: Token-based Image Representation and Processing for Computer Vision},   
      author={Bichen Wu and Chenfeng Xu and Xiaoliang Dai and Alvin Wan and Peizhao Zhang and Zhicheng Yan and Masayoshi Tomizuka and Joseph Gonzalez and Kurt Keutzer and Peter Vajda},  
      year={2020},  
      eprint={2006.03677},  
      archivePrefix={arXiv},  
      primaryClass={cs.CV}  
}  

@INPROCEEDINGS{9816335,  
  author={Choumos, George and Koukos, Alkiviadis and Sitokonstantinou, Vasileios and Kontoes, Charalampos},  
  booktitle={2022 IEEE 14th Image, Video, and Multidimensional Signal Processing Workshop (IVMSP)},  
  title={Towards Space-to-Ground Data Availability for Agriculture Monitoring},  
  year={2022},  
  volume={},  
  number={},  
  pages={1-5},  
  doi={10.1109/IVMSP54334.2022.9816335}  
}