标签:

• timm
• transformers
• 图像特征提取
• siglip
• siglip2 库名称: timm 许可证: apache-2.0 数据集:
• webli

模型卡片：vit_so400m_patch16_siglip_gap_512.v2_webli

一个专为timm设计的SigLIP 2 ViT（仅图像编码器）。功能等同于来自https://huggingface.co/timm/ViT-SO400M-16-SigLIP2-512的图像塔。此gap变体采用全局平均池化，并移除了注意力池化头。

模型详情

• 数据集: webli
• 相关论文:
  • SigLIP 2：具备增强语义理解、定位与密集特征的多语言视觉-语言编码器: https://arxiv.org/abs/2502.14786
  • 用于语言图像预训练的Sigmoid损失函数: https://arxiv.org/abs/2303.15343

引用

@article{tschannen2025siglip,
          title={SigLIP 2：具备增强语义理解、定位与密集特征的多语言视觉-语言编码器},
          author={Tschannen, Michael and Gritsenko, Alexey and Wang, Xiao and Naeem, Muhammad Ferjad and Alabdulmohsin, Ibrahim and Parthasarathy, Nikhil and Evans, Talfan and Beyer, Lucas and Xia, Ye and Mustafa, Basil and H'enaff, Olivier and Harmsen, Jeremiah and Steiner, Andreas and Zhai, Xiaohua},
          year={2025},
          journal={arXiv预印本 arXiv:2502.14786}
        }
        

@inproceedings{zhai2023sigmoid,
          title={用于语言图像预训练的Sigmoid损失函数},
          author={Zhai, Xiaohua and Mustafa, Basil and Kolesnikov, Alexander and Beyer, Lucas},
          booktitle={IEEE/CVF国际计算机视觉会议论文集},
          pages={11975--11986},
          year={2023}
        }