标签:

• 图像特征提取
• 鸟类识别
• pytorch 库名称: birder 许可证: apache-2.0

模型卡片：hiera_abswin_base_mim

采用绝对窗口位置嵌入策略的Hiera图像编码器，通过掩码图像建模（MIM）预训练。该模型未针对特定分类任务进行微调，旨在作为通用特征提取器或下游任务（如目标检测、分割或自定义分类）的骨干网络使用。

模型详情

• 模型类型: 图像编码器与检测骨干网络

• 模型统计:

  • 参数量（百万）: 50.5
  • 输入图像尺寸: 224 x 224

• 数据集: 训练数据包含约1200万张多样化图像，涵盖：

  • iNaturalist 2021（约330万张）
  • WebVision-2.0（约150万张随机子集）
  • imagenet-w21-webp-wds（约100万张随机子集）
  • SA-1B（约22万张，20个分块的随机子集）
  • COCO（约12万张）
  • NABirds（约4.8万张）
  • GLDv2（约4万张，6个分块的随机子集）
  • Birdsnap v1.1（约4.4万张）
  • CUB-200 2011（约1.8万张）
  • Birder数据集（约600万张，私有数据集）

• 相关论文:

  • Hiera：一种去芜存菁的层次化视觉Transformer：https://arxiv.org/abs/2306.00989
  • 窗口注意力机制的缺陷：位置嵌入插值的错误方式：https://arxiv.org/abs/2311.05613

模型使用

图像嵌入提取

import birder
from birder.inference.classification import infer_image

(net, model_info) = birder.load_pretrained_model("hiera_abswin_base_mim", inference=True)

# 获取模型训练时的图像尺寸
size = birder.get_size_from_signature(model_info.signature)

# 创建推理转换器
transform = birder.classification_transform(size, model_info.rgb_stats)

image = "图像路径.jpeg"  # 或PIL图像对象
(out, embedding) = infer_image(net, image, transform, return_embedding=True)
# embedding为NumPy数组，形状为(1, 768)

检测特征图提取

from PIL import Image
import birder

(net, model_info) = birder.load_pretrained_model("hiera_abswin_base_mim", inference=True)

# 获取模型训练时的图像尺寸
size = birder.get_size_from_signature(model_info.signature)

# 创建推理转换器
transform = birder.classification_transform(size, model_info.rgb_stats)

image = Image.open("图像路径.jpeg")
features = net.detection_features(transform(image).unsqueeze(0))
# features为字典（阶段名称 -> torch.Tensor）
print([(k, v.size()) for k, v in features.items()])
# 输出示例：
# [('stage1', torch.Size([1, 96, 56, 56])),
#  ('stage2', torch.Size([1, 192, 28, 28])),
#  ('stage3', torch.Size([1, 384, 14, 14])),
#  ('stage4', torch.Size([1, 768, 7, 7]))]

引用文献

@misc{ryali2023hierahierarchicalvisiontransformer,
      title={Hiera：一种去芜存菁的层次化视觉Transformer},
      author={Chaitanya Ryali and Yuan-Ting Hu and Daniel Bolya and Chen Wei and Haoqi Fan and Po-Yao Huang and Vaibhav Aggarwal and Arkabandhu Chowdhury and Omid Poursaeed and Judy Hoffman and Jitendra Malik and Yanghao Li and Christoph Feichtenhofer},
      year={2023},
      eprint={2306.00989},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2306.00989},
}

@misc{bolya2023windowattentionbuggedinterpolate,
      title={窗口注意力机制的缺陷：位置嵌入插值的错误方式},
      author={Daniel Bolya and Chaitanya Ryali and Judy Hoffman and Christoph Feichtenhofer},
      year={2023},
      eprint={2311.05613},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2311.05613},
}