许可协议: MIT
基础模型:

• apple/aimv2-large-patch14-native
  任务标签: 图像分类
  标签:
• 图像分类
• 视觉
  库名称: transformers

AIMv2-Large-Patch14-Native 图像分类模型

原始AIMv2论文 | BibTeX引用格式

本仓库包含原始AIMv2模型的适配版本，经过修改可与Hugging Face Transformers的AutoModelForImageClassification类兼容。这一适配使得该模型能够无缝应用于图像分类任务。

注：此模型尚未经过训练/微调

简介

我们对原始apple/aimv2-large-patch14-native模型进行了适配，使其支持AutoModelForImageClassification。AIMv2系列模型是通过多模态自回归目标预训练的视觉模型，在各种基准测试中展现出卓越性能。

AIMv2模型的主要亮点包括：

1. 在多数多模态理解基准测试中超越OAI CLIP和SigLIP
2. 在开放词汇目标检测和指代表达理解任务上优于DINOv2
3. 展现出强大的识别性能，其中AIMv2-3B在使用冻结主干网络时在ImageNet上达到89.5%准确率

使用方法

PyTorch示例

import requests
from PIL import Image
from transformers import AutoImageProcessor, AutoModelForImageClassification

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "amaye15/aimv2-large-patch14-native-image-classification",
)
model = AutoModelForImageClassification.from_pretrained(
    "amaye15/aimv2-large-patch14-native-image-classification",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)

# 获取预测类别
predictions = outputs.logits.softmax(dim=-1)
predicted_class = predictions.argmax(-1).item()

print(f"预测类别: {model.config.id2label[predicted_class]}")

模型详情

• 模型名称: amaye15/aimv2-large-patch14-native-image-classification
• 原始模型: apple/aimv2-large-patch14-native
• 适配内容: 修改为兼容AutoModelForImageClassification，可直接用于图像分类任务
• 框架: PyTorch

引用说明

如果使用本模型或觉得有帮助，请考虑引用原始AIMv2论文：

@article{yang2023aimv2,
  title={AIMv2: 多模态视觉模型的进展},
  author={杨立 等},
  journal={arXiv预印本 arXiv:2411.14402},
  year={2023}
}