library_name: transformers tags:

• 视觉 license: apache-2.0 language:
• 英文 base_model:
• google/siglip2-so400m-patch14-384

SigLIP 2 So400m长上下文微调版

本模型基于SigLIP 2微调，功能与原版完全一致，但最大文本长度从基础模型的64个标记提升至256个标记。

训练配置：

• 训练样本：10,000,000
• 预热样本：1,000,000
• 批大小：256
• 学习率：4e-4
• 调度器：余弦退火
• 混合精度：bfloat16
• 模型权重：float32
• 优化器：AdamW
• 权重衰减：0.2
• 梯度裁剪：1.0
• 最大标记长度：256

这些配置并非最优方案。SigLIP论文指出权重衰减不利于模型微调，且此类模型通常受益于大批量训练。此处仅沿用旧代码的默认设置。

在16K样本测试集上，模型初始损失值为17.65，最终降至2.51。

训练数据集包含约120万图文对，来源多样。其中25万为CommonCrawl随机采集的图片-替代文本对（最接近so400m原始训练数据），其余样本来自JoyCaption数据集（包含描述性标注、图库标签列表、Stable Diffusion提示词、视觉问答等多种图文组合）。

训练过程中冻结了视觉编码塔、logit_scale、logit_bias及文本编码塔头部，仅微调文本编码塔其余部分，以确保保留原始嵌入空间特征，专注于扩展上下文长度和文本类型适应。

位置嵌入采用原位保留原始64维+随机初始化新增维度的扩展方案。虽未进行消融实验验证最优性，但测试发现模型对位置嵌入变化不敏感。

实际测试表明，本模型性能略优于原版SigLIP 2 so400m，但倾向短文本匹配（即对同义描述的图文对，更青睐较短文本）。对写实类图像的图库标签列表识别能力仍有提升空间。

致谢

感谢SigLIP 2团队在优秀模型基础上的突破性改进。

BibTeX引用信息

@misc{tschannen2025siglip2multilingualvisionlanguage,
      title={SigLIP 2：具备增强语义理解、定位与密集特征的多语言视觉语言编码器}, 
      author={Michael Tschannen and Alexey Gritsenko and Xiao Wang and Muhammad Ferjad Naeem and Ibrahim Alabdulmohsin and Nikhil Parthasarathy and Talfan Evans and Lucas Beyer and Ye Xia and Basil Mustafa and Olivier Hénaff and Jeremiah Harmsen and Andreas Steiner and Xiaohua Zhai},
      year={2025},
      eprint={2502.14786},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2502.14786}, 
}