许可协议：apache-2.0
标签：

• 视觉
• 图像分类
  数据集：
• imagenet-1k
  示例展示：
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/tiger.jpg
  示例标题：老虎
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/teapot.jpg
  示例标题：茶壶
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/palace.jpg
  示例标题：宫殿

Swin Transformer v2（微型版模型）

Swin Transformer v2 模型在 ImageNet-21k 数据集上以 192x192 分辨率进行了预训练。该模型由 Liu 等人在论文 Swin Transformer V2: Scaling Up Capacity and Resolution 中提出，并首次发布于 此代码库。

免责声明：发布 Swin Transformer v2 的团队未为此模型编写模型卡片，因此本模型卡片由 Hugging Face 团队撰写。

模型描述

Swin Transformer 是一种视觉 Transformer 模型。它通过在深层合并图像块（灰色部分）构建分层特征图，并由于仅在局部窗口（红色部分）内计算自注意力，其计算复杂度与输入图像大小呈线性关系。因此，它可以作为图像分类和密集识别任务的通用骨干网络。相比之下，先前的视觉 Transformer 模型生成单一低分辨率的特征图，且由于全局计算自注意力，其计算复杂度与输入图像大小呈平方关系。

Swin Transformer v2 增加了三项主要改进：

1. 结合残差后归一化和余弦注意力以提高训练稳定性；
2. 采用对数间隔连续位置偏置方法，有效将低分辨率图像预训练的模型迁移到高分辨率输入的下游任务；
3. 使用自监督预训练方法 SimMIM，减少对大量标注图像的需求。

来源

预期用途与限制

您可以将该原始模型用于图像分类任务。请访问 模型中心 查找您感兴趣任务的微调版本。

使用方法

以下示例展示如何使用该模型将 COCO 2017 数据集中的一张图像分类为 21k ImageNet 类别之一：

from transformers import AutoImageProcessor, AutoModelForImageClassification  
from PIL import Image  
import requests  

url = "http://images.cocodataset.org/val2017/000000039769.jpg"  
image = Image.open(requests.get(url, stream=True).raw)  

processor = AutoImageProcessor.from_pretrained("microsoft/swinv2-base-patch4-window12-192-22k")  
model = AutoModelForImageClassification.from_pretrained("microsoft/swinv2-base-patch4-window12-192-22k")  

inputs = processor(images=image, return_tensors="pt")  
outputs = model(**inputs)  
logits = outputs.logits  
# 模型预测 21k ImageNet 类别之一  
predicted_class_idx = logits.argmax(-1).item()  
print("预测类别：", model.config.id2label[predicted_class_idx])  

更多代码示例，请参阅 文档。

BibTeX 引用信息

@article{DBLP:journals/corr/abs-2111-09883,  
  author    = {Ze Liu and  
               Han Hu and  
               Yutong Lin and  
               Zhuliang Yao and  
               Zhenda Xie and  
               Yixuan Wei and  
               Jia Ning and  
               Yue Cao and  
               Zheng Zhang and  
               Li Dong and  
               Furu Wei and  
               Baining Guo},  
  title     = {Swin Transformer {V2:} Scaling Up Capacity and Resolution},  
  journal   = {CoRR},  
  volume    = {abs/2111.09883},  
  year      = {2021},  
  url       = {https://arxiv.org/abs/2111.09883},  
  eprinttype = {arXiv},  
  eprint    = {2111.09883},  
  timestamp = {Thu, 02 Dec 2021 15:54:22 +0100},  
  biburl    = {https://dblp.org/rec/journals/corr/abs-2111-09883.bib},  
  bibsource = {dblp computer science bibliography, https://dblp.org}  
}