许可协议：apache-2.0
标签：

• 视觉
  小部件示例：
  • 图片链接：https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg
    候选标签：天空中的蜜蜂，花朵上的蜜蜂
    示例标题：蜜蜂
    库名称：transformers
    管道标签：零样本图像分类

SigLIP 2 So400m 模型

SigLIP 2 在 SigLIP 预训练目标基础上，整合了先前独立开发的技术，形成统一方案，以提升语义理解、定位和密集特征提取能力。

用途

该模型可直接用于零样本图像分类、图文检索等任务，或作为视觉语言模型（及其他视觉任务）的视觉编码器。

零样本图像分类使用示例：

from transformers import pipeline  

# 加载管道  
ckpt = "google/siglip2-so400m-patch16-384"  
image_classifier = pipeline(model=ckpt, task="zero-shot-image-classification")  

# 加载图片与候选标签  
url = "http://images.cocodataset.org/val2017/000000039769.jpg"  
candidate_labels = ["2只猫", "飞机", "遥控器"]  

# 执行推理  
outputs = image_classifier(image, candidate_labels)  
print(outputs)  

视觉编码器使用示例：

import torch  
from transformers import AutoModel, AutoProcessor  
from transformers.image_utils import load_image  

# 加载模型与处理器  
ckpt = "google/siglip2-so400m-patch16-384"  
model = AutoModel.from_pretrained(ckpt, device_map="auto").eval()  
processor = AutoProcessor.from_pretrained(ckpt)  

# 加载图片  
image = load_image("https://huggingface.co/datasets/merve/coco/resolve/main/val2017/000000000285.jpg")  
inputs = processor(images=[image], return_tensors="pt").to(model.device)  

# 执行推理  
with torch.no_grad():  
    image_embeddings = model.get_image_features(**inputs)      

print(image_embeddings.shape)  

更多代码示例详见 SigLIP文档。

训练方法

SigLIP 2 在 SigLIP 基础上新增以下训练目标：

1. 解码器损失
2. 全局-局部与掩码预测损失
3. 宽高比与分辨率自适应

训练数据

基于 WebLI 数据集 (Chen et al., 2023) 预训练。

算力

使用最多 2048 块 TPU-v5e 芯片训练。

评估结果

（论文评估数据展示）

引用信息

@misc{tschannen2025siglip2multilingualvisionlanguage,  
      title={SigLIP 2：具备增强语义理解、定位与密集特征的多语言视觉语言编码器},  
      author={Michael Tschannen 等},  
      year={2025},  
      eprint={2502.14786},  
      archivePrefix={arXiv},  
      primaryClass={cs.CV},  
      url={https://arxiv.org/abs/2502.14786},  
}