许可证：apache-2.0
标签：

• 视觉
• 图像分类
  数据集：
• imagenet-1k
  小部件示例：
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/tiger.jpg
  示例标题：老虎
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/teapot.jpg
  示例标题：茶壶
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/palace.jpg
  示例标题：宫殿

Swin Transformer v2（基础尺寸模型）

Swin Transformer v2模型在ImageNet-21k上进行了预训练，并在256x256分辨率的ImageNet-1k上进行了微调。该模型由Liu等人在论文Swin Transformer V2: Scaling Up Capacity and Resolution中提出，并首次发布于此代码库。

免责声明：发布Swin Transformer v2的团队未为此模型编写模型卡，因此本模型卡由Hugging Face团队撰写。

模型描述

Swin Transformer是一种视觉Transformer。它通过在更深层合并图像块（灰色显示）来构建分层特征图，并且由于仅在每个局部窗口（红色显示）内计算自注意力，其计算复杂度与输入图像大小呈线性关系。因此，它可以作为图像分类和密集识别任务的通用骨干网络。相比之下，先前的视觉Transformer生成单一低分辨率特征图，并且由于全局计算自注意力，其计算复杂度与输入图像大小呈二次方关系。

Swin Transformer v2增加了三项主要改进：1）采用残差后归一化方法结合余弦注意力以提高训练稳定性；2）使用对数间隔连续位置偏置方法，有效将低分辨率图像预训练的模型迁移到高分辨率输入的下游任务；3）采用自监督预训练方法SimMIM，减少对大量标注图像的需求。

来源

预期用途与限制

您可以将原始模型用于图像分类任务。请访问模型中心查找您感兴趣任务的微调版本。

使用方法

以下示例展示如何使用该模型将COCO 2017数据集中的一张图像分类为1000个ImageNet类别之一：

from transformers import AutoImageProcessor, AutoModelForImageClassification  
from PIL import Image  
import requests  

url = "http://images.cocodataset.org/val2017/000000039769.jpg"  
image = Image.open(requests.get(url, stream=True).raw)  

processor = AutoImageProcessor.from_pretrained("microsoft/swinv2-large-patch4-window12to16-192to256-22kto1k-ft")  
model = AutoModelForImageClassification.from_pretrained("microsoft/swinv2-large-patch4-window12to16-192to256-22kto1k-ft")  

inputs = processor(images=image, return_tensors="pt")  
outputs = model(**inputs)  
logits = outputs.logits  
# 模型预测1000个ImageNet类别之一  
predicted_class_idx = logits.argmax(-1).item()  
print("预测类别：", model.config.id2label[predicted_class_idx])  

更多代码示例请参阅文档。

BibTeX引用信息

@article{DBLP:journals/corr/abs-2111-09883,  
  author    = {Ze Liu and  
               Han Hu and  
               Yutong Lin and  
               Zhuliang Yao and  
               Zhenda Xie and  
               Yixuan Wei and  
               Jia Ning and  
               Yue Cao and  
               Zheng Zhang and  
               Li Dong and  
               Furu Wei and  
               Baining Guo},  
  title     = {Swin Transformer {V2:} Scaling Up Capacity and Resolution},  
  journal   = {CoRR},  
  volume    = {abs/2111.09883},  
  year      = {2021},  
  url       = {https://arxiv.org/abs/2111.09883},  
  eprinttype = {arXiv},  
  eprint    = {2111.09883},  
  timestamp = {Thu, 02 Dec 2021 15:54:22 +0100},  
  biburl    = {https://dblp.org/rec/journals/corr/abs-2111-09883.bib},  
  bibsource = {dblp computer science bibliography, https://dblp.org}  
}