许可协议：apache-2.0
标签：

• 视觉
• 图像分类
  数据集：
• imagenet-1k
  示例展示：
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/tiger.jpg
  示例标题：老虎
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/teapot.jpg
  示例标题：茶壶
• 图片链接：https://huggingface.co/datasets/mishig/sample_images/resolve/main/palace.jpg
  示例标题：宫殿

Swin Transformer v2（基础尺寸模型）

Swin Transformer v2模型基于ImageNet-21k预训练，并在384x384分辨率下对ImageNet-1k进行微调。该模型由Liu等人在论文《Swin Transformer V2: Scaling Up Capacity and Resolution》中提出，并首次发布于此代码库。

免责声明：发布Swin Transformer v2的团队未为此模型编写说明卡，因此本说明卡由Hugging Face团队撰写。

模型描述

Swin Transformer是一种视觉Transformer。它通过在深层合并图像块（灰色显示）构建分层特征图，并由于仅在局部窗口（红色显示）内计算自注意力，其计算复杂度与输入图像大小呈线性关系。因此，它可作为图像分类和密集识别任务的通用骨干网络。相比之下，先前的视觉Transformer生成单一低分辨率特征图，且因全局计算自注意力，计算复杂度与输入图像大小呈平方关系。

Swin Transformer v2新增了三大改进：

1. 结合残差后归一化与余弦注意力提升训练稳定性；
2. 采用对数间隔连续位置偏置方法，有效将低分辨率预训练模型迁移至高分辨率下游任务；
3. 引入自监督预训练方法SimMIM，减少对大量标注图像的依赖。

来源

用途与限制

该模型可直接用于图像分类。访问模型库可查找针对特定任务微调的版本。

使用方法

以下代码展示如何将COCO 2017数据集中的图像分类为1000个ImageNet类别之一：

from transformers import AutoImageProcessor, AutoModelForImageClassification  
from PIL import Image  
import requests  

url = "http://images.cocodataset.org/val2017/000000039769.jpg"  
image = Image.open(requests.get(url, stream=True).raw)  

processor = AutoImageProcessor.from_pretrained("microsoft/swinv2-base-patch4-window12to24-192to384-22kto1k-ft")  
model = AutoModelForImageClassification.from_pretrained("microsoft/swinv2-base-patch4-window12to24-192to384-22kto1k-ft")  

inputs = processor(images=image, return_tensors="pt")  
outputs = model(**inputs)  
logits = outputs.logits  
# 模型预测1000个ImageNet类别之一  
predicted_class_idx = logits.argmax(-1).item()  
print("预测类别:", model.config.id2label[predicted_class_idx])  

更多代码示例详见文档。

BibTeX引用信息

@article{DBLP:journals/corr/abs-2111-09883,  
  author    = {Ze Liu and  
               Han Hu and  
               Yutong Lin and  
               Zhuliang Yao and  
               Zhenda Xie and  
               Yixuan Wei and  
               Jia Ning and  
               Yue Cao and  
               Zheng Zhang and  
               Li Dong and  
               Furu Wei and  
               Baining Guo},  
  title     = {Swin Transformer {V2:} Scaling Up Capacity and Resolution},  
  journal   = {CoRR},  
  volume    = {abs/2111.09883},  
  year      = {2021},  
  url       = {https://arxiv.org/abs/2111.09883},  
  eprinttype = {arXiv},  
  eprint    = {2111.09883},  
  timestamp = {Thu, 02 Dec 2021 15:54:22 +0100},  
  biburl    = {https://dblp.org/rec/journals/corr/abs-2111-09883.bib},  
  bibsource = {dblp computer science bibliography, https://dblp.org}  
}