标签:

• 剪辑 库名称: open_clip 管道标签: 零样本图像分类 许可证: apple-amlr 许可证名称: apple-ascl 许可证链接: https://github.com/apple/ml-mobileclip/blob/main/LICENSE_weights_data

MobileCLIP：通过多模态强化训练实现的快速图文模型

MobileCLIP由Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli和Oncel Tuzel在《MobileCLIP：通过多模态强化训练实现的快速图文模型》（CVPR 2024）中提出。

本仓库包含OpenCLIP的**MobileCLIP-B (LT)**检查点。

亮点

• 我们最小的变体MobileCLIP-S0在零样本性能上与OpenAI的ViT-B/16模型相当，但速度快4.8倍，体积小2.8倍。
• MobileCLIP-S2在平均零样本性能上优于SigLIP的ViT-B/16模型，速度快2.3倍，体积小2.1倍，且训练样本减少了3倍。
• MobileCLIP-B(LT)在零样本ImageNet上的性能达到77.2%，显著优于DFN和SigLIP等近期工作，甚至超越了OpenAI的ViT-L/14@336。

检查点