许可协议：mit
库名称：timm
标签：

• 图像特征提取
• timm
• transformers

eva02_base_patch14_224.mim_in22k 模型卡

一款EVA02特征/表示模型。由论文作者通过掩码图像建模（使用EVA-CLIP作为MIM教师）在ImageNet-22k上预训练而成。

EVA-02模型采用均值池化、SwiGLU、旋转位置嵌入（ROPE）及MLP中额外层归一化（针对Base和Large版本）的视觉Transformer架构。

注：timm检查点采用float32格式以保持与其他模型的一致性。原始检查点部分为float16或bfloat16格式，如需原始格式请参考源文件。

模型详情

• 模型类型： 图像分类/特征主干网络
• 模型统计：
  • 参数量（百万）：85.8
  • 计算量（GMACs）：23.2
  • 激活值（百万）：36.6
  • 图像尺寸：224×224像素
• 相关论文：
  • 《EVA-02：新世纪福音战士的视觉表示》：https://arxiv.org/abs/2303.11331
  • 《EVA-CLIP：大规模CLIP训练的改进技术》：https://arxiv.org/abs/2303.15389
• 原始资源：
  • https://github.com/baaivision/EVA
  • https://huggingface.co/Yuxin-CV/EVA-02
• 预训练数据集： ImageNet-22k

模型使用

图像分类

from urllib.request import urlopen  
from PIL import Image  
import timm  

img = Image.open(urlopen(  
    'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'  
))  

model = timm.create_model('eva02_base_patch14_224.mim_in22k', pretrained=True)  
model = model.eval()  

# 获取模型特定的变换（归一化、尺寸调整）  
data_config = timm.data.resolve_model_data_config(model)  
transforms = timm.data.create_transform(**data_config, is_training=False)  

output = model(transforms(img).unsqueeze(0))  # 将单张图像扩展为批大小为1  

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)  

图像嵌入

from urllib.request import urlopen  
from PIL import Image  
import timm  

img = Image.open(urlopen(  
    'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'  
))  

model = timm.create_model(  
    'eva02_base_patch14_224.mim_in22k',  
    pretrained=True,  
    num_classes=0,  # 移除分类器nn.Linear  
)  
model = model.eval()  

# 获取模型特定的变换（归一化、尺寸调整）  
data_config = timm.data.resolve_model_data_config(model)  
transforms = timm.data.create_transform(**data_config, is_training=False)  

output = model(transforms(img).unsqueeze(0))  # 输出为（批大小，特征数）形状的张量  

# 或等效操作（无需设置num_classes=0）  

output = model.forward_features(transforms(img).unsqueeze(0))  
# 输出为非池化状态，形状为（1, 257, 768）的张量  

output = model.forward_head(output, pre_logits=True)  
# 输出为（1, 特征数）形状的张量  

模型对比

在timm的模型结果中探索该模型的数据集和运行时指标。

引用

@article{EVA02,  
  title={EVA-02：新世纪福音战士的视觉表示},  
  author={方宇新 and 孙权 and 王兴刚 and 黄铁军 and 王新龙 and 曹越},  
  journal={arXiv预印本 arXiv:2303.11331},  
  year={2023}  
}  

@article{EVA-CLIP,  
  title={EVA-02：新世纪福音战士的视觉表示},  
  author={孙权 and 方宇新 and 吴乐德 and 王新龙 and 曹越},  
  journal={arXiv预印本 arXiv:2303.15389},  
  year={2023}  
}  

@misc{rw2019timm,  
  author = {Ross Wightman},  
  title = {PyTorch图像模型库},  
  year = {2019},  
  publisher = {GitHub},  
  journal = {GitHub仓库},  
  doi = {10.5281/zenodo.4414861},  
  howpublished = {\url{https://github.com/huggingface/pytorch-image-models}}  
}