许可协议: mit
库名称: timm
标签:

• 图像特征提取
• timm
• transformers

模型卡片 eva02_small_patch14_224.mim_in22k

EVA02特征/表示模型。由论文作者通过掩码图像建模（使用EVA-CLIP作为MIM教师）在ImageNet-22k上预训练。

EVA-02模型是视觉Transformer，具有均值池化、SwiGLU、旋转位置嵌入（ROPE）以及在MLP中额外的LN（适用于Base和Large版本）。

注意：timm检查点采用float32以保证与其他模型的一致性。原始检查点在部分情况下使用float16或bfloat16，如需使用请参考原始版本。

模型详情

• 模型类型: 图像分类/特征骨干网络
• 模型统计:
  • 参数量（百万）: 21.6
  • GMACs: 6.1
  • 激活量（百万）: 18.3
  • 图像尺寸: 224 x 224
• 相关论文:
  • EVA-02: 新世纪视觉表示: https://arxiv.org/abs/2303.11331
  • EVA-CLIP: 大规模CLIP训练的改进技术: https://arxiv.org/abs/2303.15389
• 原始资源:
  • https://github.com/baaivision/EVA
  • https://huggingface.co/Yuxin-CV/EVA-02
• 预训练数据集: ImageNet-22k

模型使用

图像分类

from urllib.request import urlopen  
from PIL import Image  
import timm  

img = Image.open(urlopen(  
    'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'  
))  

model = timm.create_model('eva02_small_patch14_224.mim_in22k', pretrained=True)  
model = model.eval()  

# 获取模型特定的变换（归一化、调整尺寸）  
data_config = timm.data.resolve_model_data_config(model)  
transforms = timm.data.create_transform(**data_config, is_training=False)  

output = model(transforms(img).unsqueeze(0))  # 将单张图像扩展为批次大小为1  

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)  

图像嵌入

from urllib.request import urlopen  
from PIL import Image  
import timm  

img = Image.open(urlopen(  
    'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'  
))  

model = timm.create_model(  
    'eva02_small_patch14_224.mim_in22k',  
    pretrained=True,  
    num_classes=0,  # 移除分类器nn.Linear  
)  
model = model.eval()  

# 获取模型特定的变换（归一化、调整尺寸）  
data_config = timm.data.resolve_model_data_config(model)  
transforms = timm.data.create_transform(**data_config, is_training=False)  

output = model(transforms(img).unsqueeze(0))  # 输出为形状为（批次大小, 特征数）的张量  

# 或等效方式（无需设置num_classes=0）  

output = model.forward_features(transforms(img).unsqueeze(0))  
# 输出为非池化结果，形状为（1, 257, 384）的张量  

output = model.forward_head(output, pre_logits=True)  
# 输出为形状为（1, 特征数）的张量  

模型比较

在timm的模型结果中探索该模型的数据集和运行时指标。

引用

@article{EVA02,  
  title={EVA-02: 新世纪视觉表示},  
  author={方宇新 and 孙权 and 王兴刚 and 黄铁军 and 王新龙 and 曹越},  
  journal={arXiv预印本 arXiv:2303.11331},  
  year={2023}  
}  

@article{EVA-CLIP,  
  title={EVA-02: 新世纪视觉表示},  
  author={孙权 and 方宇新 and 吴乐德 and 王新龙 and 曹越},  
  journal={arXiv预印本 arXiv:2303.15389},  
  year={2023}  
}  

@misc{rw2019timm,  
  author = {Ross Wightman},  
  title = {PyTorch图像模型},  
  year = {2019},  
  publisher = {GitHub},  
  journal = {GitHub仓库},  
  doi = {10.5281/zenodo.4414861},  
  howpublished = {\url{https://github.com/huggingface/pytorch-image-models}}  
}