许可协议：apache-2.0
标签：

• 视觉
  小部件示例：
• 图片地址：https://huggingface.co/datasets/mishig/sample_images/resolve/main/cat-dog-music.png
  候选标签：播放音乐、进行运动
  示例标题：猫与狗

SigLIP（形状优化模型）

该SigLIP模型基于WebLi数据集在384x384分辨率下预训练，由Zhai等人在论文Sigmoid Loss for Language Image Pre-Training中提出，并首次发布于此代码库。

模型采用SoViT-400m架构，这是Alabdulmohsin等人在Getting ViT in Shape: Scaling Laws for Compute-Optimal Model Design中提出的计算最优形状优化版本。

免责声明：发布SigLIP的团队未编写此模型卡，当前内容由Hugging Face团队撰写。

模型描述

SigLIP是改进损失函数版本的CLIP多模态模型。其sigmoid损失函数仅作用于图像-文本对，无需通过全局相似度进行归一化，这使得模型在扩大批次规模的同时，也能在小批次下表现更优。

作者之一提供的SigLIP简明解读可参见此推文。

应用场景与限制

该原始模型可用于零样本图像分类和图文检索等任务。访问模型中心可探索其他任务适配版本。

使用方法

零样本图像分类示例：

from PIL import Image  
import requests  
from transformers import AutoProcessor, AutoModel  
import torch  

model = AutoModel.from_pretrained("google/siglip-so400m-patch14-384")  
processor = AutoProcessor.from_pretrained("google/siglip-so400m-patch14-384")  

url = "http://images.cocodataset.org/val2017/000000039769.jpg"  
image = Image.open(requests.get(url, stream=True).raw)  

texts = ["两只猫的照片", "两只狗的照片"]  
inputs = processor(text=texts, images=image, padding="max_length", return_tensors="pt")  

with torch.no_grad():  
    outputs = model(**inputs)  

logits_per_image = outputs.logits_per_image  
probs = torch.sigmoid(logits_per_image) # 获取概率值  
print(f"图像0匹配'{texts[0]}'的概率为{probs[0][0]:.1%}")  

也可使用简化流程的pipeline API：

from transformers import pipeline  
from PIL import Image  
import requests  

# 加载流程  
image_classifier = pipeline(task="zero-shot-image-classification", model="google/siglip-so400m-patch14-384")  

# 加载图像  
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'  
image = Image.open(requests.get(url, stream=True).raw)  

# 推理  
outputs = image_classifier(image, candidate_labels=["两只猫", "一架飞机", "遥控器"])  
outputs = [{"score": round(output["score"], 4), "label": output["label"] } for output in outputs]  
print(outputs)  

更多代码示例详见文档。

训练过程

训练数据

基于WebLI数据集(Chen等, 2023)预训练。

预处理

图像统一调整为384x384分辨率，并通过RGB通道均值(0.5, 0.5, 0.5)和标准差(0.5, 0.5, 0.5)归一化。
文本被分词并填充至固定长度（64个标记）。

计算资源

使用16块TPU-v4芯片训练三天完成。

评估结果

下图展示了SigLIP与CLIP的性能对比（摘自原论文）：

BibTeX引用信息

@misc{zhai2023sigmoid,  
      title={Sigmoid Loss for Language Image Pre-Training},   
      author={Xiaohua Zhai and Basil Mustafa and Alexander Kolesnikov and Lucas Beyer},  
      year={2023},  
      eprint={2303.15343},  
      archivePrefix={arXiv},  
      primaryClass={cs.CV}  
}