许可协议：apache-2.0
标签：

• 视觉
• 图像分类
  数据集：
• imagenet-1k
  示例展示：
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/tiger.jpg
  示例标题：老虎
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/teapot.jpg
  示例标题：茶壶
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/palace.jpg
  示例标题：宫殿

金字塔视觉变换器（中等规模模型）

金字塔视觉变换器（PVT）模型在ImageNet-1K（100万张图像，1000个类别）上以224x224分辨率进行了预训练，并在ImageNet 2012（100万张图像，1000个类别）上以224x224分辨率进行了微调。该模型由Wenhai Wang、Enze Xie、Xiang Li、Deng-Ping Fan、Kaitao Song、Ding Liang、Tong Lu、Ping Luo、Ling Shao在论文《金字塔视觉变换器：一种无需卷积的密集预测通用骨干网络》中提出，并首次发布于此代码库。

免责声明：发布PVT的团队未为此模型编写模型卡，因此本模型卡由Rinat S. [@Xrenya]撰写。

模型描述

金字塔视觉变换器（PVT）是一种基于Transformer编码器的模型（类似BERT），在ImageNet-1k（也称为ILSVRC2012）上进行了预训练，该数据集包含100万张图像和1000个类别，分辨率同样为224x224。

图像以可变大小的图像块序列形式输入模型，这些图像块经过线性嵌入。与ViT模型不同，PVT使用渐进式缩小金字塔结构来减少每个阶段对大特征图的计算量。在序列开头添加一个[CLS]标记用于分类任务，并在将序列输入Transformer编码器层之前添加绝对位置嵌入。

通过预训练，模型学习到图像的内在表示，可用于提取对下游任务有用的特征：例如，如果您有一个带标签的图像数据集，可以在预训练编码器顶部添加一个线性层来训练标准分类器。通常会在[CLS]标记顶部添加一个线性层，因为该标记的最终隐藏状态可视为整个图像的表示。

预期用途与限制

您可以将原始模型用于图像分类。请参阅模型中心以查找您感兴趣任务的微调版本。

使用方法

以下是如何使用该模型将COCO 2017数据集中的一张图像分类为1000个ImageNet类别之一：

from transformers import PvtImageProcessor, PvtForImageClassification  
from PIL import Image  
import requests  

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'  
image = Image.open(requests.get(url, stream=True).raw)  

processor = PvtImageProcessor.from_pretrained('Zetatech/pvt-medium-224')  
model = PvtForImageClassification.from_pretrained('Zetatech/pvt-medium-224')  

inputs = processor(images=image, return_tensors="pt")  
outputs = model(**inputs)  
logits = outputs.logits  
# 模型预测1000个ImageNet类别之一  
predicted_class_idx = logits.argmax(-1).item()  
print("预测类别：", model.config.id2label[predicted_class_idx])  

更多代码示例请参阅文档。

训练数据

ViT模型在ImageNet-1k上进行了预训练，该数据集包含100万张图像和1000个类别。

训练流程

预处理

训练/验证期间图像预处理的具体细节可在此处找到。

图像被调整大小/缩放至相同分辨率（224x224），并在RGB通道上以均值（0.485, 0.456, 0.406）和标准差（0.229, 0.224, 0.225）进行归一化。

BibTeX条目与引用信息

@inproceedings{wang2021pyramid,  
  title={Pyramid vision transformer: A versatile backbone for dense prediction without convolutions},  
  author={Wang, Wenhai and Xie, Enze and Li, Xiang and Fan, Deng-Ping and Song, Kaitao and Liang, Ding and Lu, Tong and Luo, Ping and Shao, Ling},  
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},  
  pages={568--578},  
  year={2021}  
}