许可协议: mit 标签:

• 视觉
• 图像分类 数据集:
• imagenet-1k 演示样例:
• 图片: https://huggingface.co/datasets/mishig/sample_images/resolve/main/tiger.jpg 示例标题: 老虎
• 图片: https://huggingface.co/datasets/mishig/sample_images/resolve/main/teapot.jpg 示例标题: 茶壶
• 图片: https://huggingface.co/datasets/mishig/sample_images/resolve/main/palace.jpg 示例标题: 宫殿

NAT (基础变体)

NAT-Base模型在224x224分辨率下基于ImageNet-1K训练。 该模型由Hassani等人在论文邻域注意力Transformer中提出，并首次发布于[此代码库](https://github.com/SHI-Labs/Neig hborhood-Attention-Transformer)。

模型描述

NAT是一种基于邻域注意力(NA)的分层视觉Transformer。 邻域注意力是一种受限的自注意力机制，其中每个标记的感受野仅限于其最近的相邻像素。 NA采用滑动窗口注意力模式，因此具有高度灵活性并保持平移等变性。

NA通过其扩展库NATTEN在PyTorch中实现。

来源

预期用途与限制

您可以使用原始模型进行图像分类。查看模型中心寻找您感兴趣任务的微调版本。

使用示例

以下是如何使用该模型将COCO 2017数据集中的图像分类为1,000个ImageNet类别之一：

from transformers import AutoImageProcessor, NatForImageClassification
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = AutoImageProcessor.from_pretrained("shi-labs/nat-base-in1k-224")
model = NatForImageClassification.from_pretrained("shi-labs/nat-base-in1k-224")

inputs = feature_extractor(images=image, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits
# 模型预测1,000个ImageNet类别之一
predicted_class_idx = logits.argmax(-1).item()
print("预测类别:", model.config.id2label[predicted_class_idx])

更多示例请参阅文档。

环境要求

除transformers外，本模型需要NATTEN包。

Linux用户可参考shi-labs.com/natten获取预编译二进制安装说明(只需选择对应的torch版本获取正确的wheel URL)。

您也可以使用pip install natten在设备上编译，这可能需要几分钟时间。 Mac用户只能选择后者(无预编译版本)。

更多信息请参阅NATTEN的GitHub。

BibTeX引用信息

@article{hassani2022neighborhood,
        title        = {Neighborhood Attention Transformer},
        author       = {Ali Hassani and Steven Walton and Jiachen Li and Shen Li and Humphrey Shi},
        year         = 2022,
        url          = {https://arxiv.org/abs/2204.07143},
        eprint       = {2204.07143},
        archiveprefix = {arXiv},
        primaryclass = {cs.CV}
}