许可协议：apache-2.0
标签：

• 视觉
• 图像分类
  数据集：
• imagenet-1k
  示例展示：
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/tiger.jpg
  示例标题：老虎
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/teapot.jpg
  示例标题：茶壶
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/palace.jpg
  示例标题：宫殿

Swin Transformer v2（大尺寸模型）

该模型是基于ImageNet-21k预训练并在384x384分辨率下对ImageNet-1k进行微调的Swin Transformer v2模型。该模型由Liu等人在论文《Swin Transformer V2：扩展容量与分辨率》中提出，并首次发布于此代码库。

免责声明：发布Swin Transformer v2的团队未为此模型编写模型卡片，因此本模型卡片由Hugging Face团队撰写。

模型描述

Swin Transformer是一种视觉Transformer。它通过在更深层合并图像块（灰色显示）构建分层特征图，并且由于仅在局部窗口（红色显示）内计算自注意力，其计算复杂度与输入图像大小呈线性关系。因此，它可以作为图像分类和密集识别任务的通用骨干网络。相比之下，先前的视觉Transformer由于全局计算自注意力，会产生单一低分辨率的特征图，并且计算复杂度与输入图像大小呈二次方关系。

Swin Transformer v2新增了3项主要改进：

1. 结合残差后归一化与余弦注意力以提高训练稳定性；
2. 采用对数间隔连续位置偏置方法，有效将低分辨率图像预训练模型迁移至高分辨率输入的下游任务；
3. 引入自监督预训练方法SimMIM，减少对大量标注图像的需求。

来源

预期用途与限制

您可以将该原始模型用于图像分类任务。访问模型中心以查找您感兴趣任务的微调版本。

使用方法

以下示例展示如何使用该模型将COCO 2017数据集中的图像分类为1000个ImageNet类别之一：

from transformers import AutoImageProcessor, AutoModelForImageClassification  
from PIL import Image  
import requests  

url = "http://images.cocodataset.org/val2017/000000039769.jpg"  
image = Image.open(requests.get(url, stream=True).raw)  

processor = AutoImageProcessor.from_pretrained("microsoft/swinv2-large-patch4-window12to24-192to384-22kto1k-ft")  
model = AutoModelForImageClassification.from_pretrained("microsoft/swinv2-large-patch4-window12to24-192to384-22kto1k-ft")  

inputs = processor(images=image, return_tensors="pt")  
outputs = model(**inputs)  
logits = outputs.logits  
# 模型预测1000个ImageNet类别之一  
predicted_class_idx = logits.argmax(-1).item()  
print("预测类别:", model.config.id2label[predicted_class_idx])  

更多代码示例请参阅文档。

BibTeX引用信息

@article{DBLP:journals/corr/abs-2111-09883,  
  author    = {Ze Liu and  
               Han Hu and  
               Yutong Lin and  
               Zhuliang Yao and  
               Zhenda Xie and  
               Yixuan Wei and  
               Jia Ning and  
               Yue Cao and  
               Zheng Zhang and  
               Li Dong and  
               Furu Wei and  
               Baining Guo},  
  title     = {Swin Transformer {V2:} Scaling Up Capacity and Resolution},  
  journal   = {CoRR},  
  volume    = {abs/2111.09883},  
  year      = {2021},  
  url       = {https://arxiv.org/abs/2111.09883},  
  eprinttype = {arXiv},  
  eprint    = {2111.09883},  
  timestamp = {Thu, 02 Dec 2021 15:54:22 +0100},  
  biburl    = {https://dblp.org/rec/journals/corr/abs-2111-09883.bib},  
  bibsource = {dblp computer science bibliography, https://dblp.org}  
}