数据集:

• imagenet-1k 库名称: transformers 管道标签: image-classification 许可证: other 标签:
• 视觉
• 图像分类

MobileViTv2 (mobilevitv2-1.0-imagenet1k-256)

MobileViTv2是MobileViT的第二代版本。该模型由Sachin Mehta和Mohammad Rastegari在论文《Separable Self-attention for Mobile Vision Transformers》中提出，并首次发布于此代码库。所使用的许可证为Apple示例代码许可证。

免责声明：发布MobileViT的团队未为此模型编写模型卡，因此本模型卡由Hugging Face团队撰写。

模型描述

MobileViTv2通过用可分离自注意力机制替代MobileViT中的多头自注意力机制构建而成。

预期用途与限制

您可以将原始模型用于图像分类任务。请查看模型中心以寻找您感兴趣任务的微调版本。

使用方法

以下是如何使用该模型将COCO 2017数据集中的一张图像分类为ImageNet 1,000个类别之一的示例：

from transformers import MobileViTImageProcessor, MobileViTV2ForImageClassification
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = MobileViTImageProcessor.from_pretrained("shehan97/mobilevitv2-1.0-imagenet1k-256")
model = MobileViTV2ForImageClassification.from_pretrained("shehan97/mobilevitv2-1.0-imagenet1k-256")

inputs = feature_extractor(images=image, return_tensors="pt")

outputs = model(**inputs)
logits = outputs.logits

# 模型预测ImageNet 1000个类别之一
predicted_class_idx = logits.argmax(-1).item()
print("预测类别:", model.config.id2label[predicted_class_idx])

目前，特征提取器和模型均支持PyTorch。

训练数据

MobileViT模型在ImageNet-1k上进行了预训练，该数据集包含100万张图像和1,000个类别。

BibTeX条目与引用信息

@inproceedings{vision-transformer,
title = {Separable Self-attention for Mobile Vision Transformers},
author = {Sachin Mehta and Mohammad Rastegari},
year = {2022},
URL = {https://arxiv.org/abs/2206.02680}
}