标签:

• 图像分类
• timm 库名称: timm 许可证: apache-2.0

kat_tiny_patch16_224.vitft 模型卡

KAT模型在ImageNet-1k（100万张图像，1000个类别）上以224x224分辨率训练而成。该模型首次发表于论文《Kolmogorov–Arnold Transformer》。

模型描述

KAT是一种采用分组有理科尔莫戈罗夫-阿诺德网络（GR-KAN）替代传统Transformer中通道混合器的新型模型。

使用方式

模型定义详见GitHub仓库：https://github.com/Adamdad/kat 中的katransformer.py文件。

from urllib.request import urlopen
from PIL import Image
import timm
import torch
import katransformer

# 加载示例图片
img = Image.open(urlopen(
    'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

# 将模型移至CUDA设备
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

# 创建预训练模型
model = timm.create_model("hf_hub:adamdad/kat_tiny_patch16_224.vitft", pretrained=True)
model = model.to(device)
model = model.eval()

# 获取模型专用数据转换配置（归一化/尺寸调整）
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

# 执行推理
output = model(transforms(img).unsqueeze(0).to(device))  # 将单张图片扩展为批次大小为1

# 输出概率最高的5个类别
top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)
print(top5_probabilities)
print(top5_class_indices)

文献引用

@misc{yang2024compositional,
    title={Kolmogorov–Arnold Transformer},
    author={Xingyi Yang and Xinchao Wang},
    year={2024},
    eprint={XXXX},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}