库名称: transformers 许可证: apple-amlr 评估指标:

• 准确率 任务标签: 图像特征提取 标签:
• 视觉
• 图像特征提取
• mlx
• pytorch 模型索引:
• 名称: aimv2-large-patch14-448 结果:
  • 任务: 类型: 分类 名称: 分类 数据集: 名称: imagenet-1k 类型: imagenet-1k 评估指标:
    • 类型: 准确率 值: 87.9 名称: 准确率 已验证: 否
  • 任务: 类型: 分类 名称: 分类 数据集: 名称: inaturalist-18 类型: inaturalist-18 评估指标:
    • 类型: 准确率 值: 81.3 名称: 准确率 已验证: 否
  • 任务: 类型: 分类 名称: 分类 数据集: 名称: cifar10 类型: cifar10 评估指标:
    • 类型: 准确率 值: 99.1 名称: 准确率 已验证: 否
  • 任务: 类型: 分类 名称: 分类 数据集: 名称: cifar100 类型: cifar100 评估指标:
    • 类型: 准确率 值: 92.4 名称: 准确率 已验证: 否
  • 任务: 类型: 分类 名称: 分类 数据集: 名称: food101 类型: food101 评估指标:
    • 类型: 准确率 值: 96.6 名称: 准确率 已验证: 否
  • 任务: 类型: 分类 名称: 分类 数据集: 名称: dtd 类型: dtd 评估指标:
    • 类型: 准确率 值: 88.9 名称: 准确率 已验证: 否
  • 任务: 类型: 分类 名称: 分类 数据集: 名称: oxford-pets 类型: oxford-pets 评估指标:
    • 类型: 准确率 值: 96.5 名称: 准确率 已验证: 否
  • 任务: 类型: 分类 名称: 分类 数据集: 名称: stanford-cars 类型: stanford-cars 评估指标:
    • 类型: 准确率 值: 96.6 名称: 准确率 已验证: 否
  • 任务: 类型: 分类 名称: 分类 数据集: 名称: camelyon17 类型: camelyon17 评估指标:
    • 类型: 准确率 值: 94.1 名称: 准确率 已验证: 否
  • 任务: 类型: 分类 名称: 分类 数据集: 名称: patch-camelyon 类型: patch-camelyon 评估指标:
    • 类型: 准确率 值: 89.6 名称: 准确率 已验证: 否
  • 任务: 类型: 分类 名称: 分类 数据集: 名称: rxrx1 类型: rxrx1 评估指标:
    • 类型: 准确率 值: 7.4 名称: 准确率 已验证: 否
  • 任务: 类型: 分类 名称: 分类 数据集: 名称: eurosat 类型: eurosat 评估指标:
    • 类型: 准确率 值: 98.6 名称: 准确率 已验证: 否
  • 任务: 类型: 分类 名称: 分类 数据集: 名称: fmow 类型: fmow 评估指标:
    • 类型: 准确率 值: 62.8 名称: 准确率 已验证: 否
  • 任务: 类型: 分类 名称: 分类 数据集: 名称: domainnet-infographic 类型: domainnet-infographic 评估指标:
    • 类型: 准确率 值: 72.7 名称: 准确率 已验证: 否

简介

[AIMv2论文] [BibTeX]

我们推出了采用多模态自回归目标预训练的AIMv2系列视觉模型。AIMv2预训练方法简单直接，能有效扩展训练规模。AIMv2的主要亮点包括：

1. 在多数多模态理解基准测试中超越OAI CLIP和SigLIP
2. 在开放词汇目标检测和指代表达理解任务上超越DINOv2
3. 展现强大识别性能，AIMv2-3B在使用冻结主干网络时达到ImageNet 89.5%准确率

使用方法

PyTorch

import requests
from PIL import Image
from transformers import AutoImageProcessor, AutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-large-patch14-448",
)
model = AutoModel.from_pretrained(
    "apple/aimv2-large-patch14-448",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)

JAX

import requests
from PIL import Image
from transformers import AutoImageProcessor, FlaxAutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-large-patch14-448",
)
model = FlaxAutoModel.from_pretrained(
    "apple/aimv2-large-patch14-448",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="jax")
outputs = model(**inputs)

引用

如果您觉得我们的工作有帮助，请考虑引用：

@misc{fini2024多模态自回归预训练大型视觉编码器,
  author      = {Fini, Enrico and Shukor, Mustafa and Li, Xiujun and Dufter, Philipp and Klein, Michal and Haldimann, David and Aitharaju, Sai and da Costa, Victor Guilherme Turrisi and Béthune, Louis and Gan, Zhe and Toshev, Alexander T and Eichner, Marcin and Nabi, Moin and Yang, Yinfei and Susskind, Joshua M. and El-Nouby, Alaaeldin},
  url         = {https://arxiv.org/abs/2411.14402},
  eprint      = {2411.14402},
  eprintclass = {cs.CV},
  eprinttype  = {arXiv},
  title       = {大型视觉编码器的多模态自回归预训练},
  year        = {2024},
}