标签:

• 图像分类
• 生态学
• 动物
• 重识别 库名称: wildlife-datasets 许可证: cc-by-nc-4.0

MegaDescriptor-L-384 模型卡

基于 Swin-L 架构的图像特征模型。在动物重识别数据集上进行了超智能预训练。

模型详情

• 模型类型: 动物重识别 / 特征骨干网络
• 模型统计:
  • 参数量 (百万): 228.8
  • 图像尺寸: 384 x 384
  • 架构: swin_large_patch4_window12_384
• 论文: WildlifeDatasets_An_Open-Source_Toolkit_for_Animal_Re-Identification
• 相关论文:
  • Swin Transformer: 使用移位窗口的分层视觉Transformer
  • DINOv2: 无监督学习鲁棒视觉特征
• 预训练数据集: 所有可用的重识别数据集 --> https://github.com/WildlifeDatasets/wildlife-datasets

模型使用

图像嵌入

import timm
import torch
import torchvision.transforms as T

from PIL import Image
from urllib.request import urlopen

model = timm.create_model("hf-hub:BVRA/MegaDescriptor-L-384", pretrained=True)
model = model.eval()

train_transforms = T.Compose([T.Resize(size=(384, 384)),
                              T.ToTensor(), 
                              T.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])]) 

img = Image.open(urlopen(
    'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

output = model(train_transforms(img).unsqueeze(0))  # 输出为 (batch_size, num_features) 形状的张量
# 输出为 (1, num_features) 形状的张量

引用

@inproceedings{vcermak2024wildlifedatasets,
  title={WildlifeDatasets: 动物重识别的开源工具包},
  author={{\v{C}}erm{\'a}k, Vojt{\v{e}}ch and Picek, Lukas and Adam, Luk{\'a}{\v{s}} and Papafitsoros, Kostas},
  booktitle={IEEE/CVF冬季计算机视觉应用会议论文集},
  pages={5953--5963},
  year={2024}
}