许可协议: MIT
库名称: open_clip
管道标签: 零样本图像分类

[论文] [GitHub]

基于CLIP模型laion/CLIP-ViT-B-32-laion2B-s34B-b79K的鲁棒感知度量模型。

使用FARE方法（Schlarmann等人 (2024)）在ImageNet数据集上进行了对抗性微调，采用无穷范数且半径为4/255。

在感知相似性任务NIGHTS上的性能表现：

原始数据     L-无穷范数, eps=4/255     L2范数, eps=3
91.1        71.8                      70.6

使用方法

model, _, image_processor = open_clip.create_model_and_transforms('hf-hub:chs20/FARE4-ViT-B-32-laion2B-s34B-b79K')

引用

如果本模型对您的研究有所帮助，请考虑引用我们的论文：

@inproceedings{croce2024adversarially,
  title={对抗鲁棒的CLIP模型可诱导更优（鲁棒）感知度量},
  author={克罗切, 弗朗西斯科 and 施拉曼, 克里斯蒂安 and 辛格, 纳曼·迪普 and 海因, 马蒂亚斯},
  year={2025},
  booktitle={{SaTML}}
}

@inproceedings{schlarmann2024robustclip,
    title={鲁棒CLIP：面向鲁棒大型视觉语言模型的视觉嵌入无监督对抗微调}, 
    author={施拉曼, 克里斯蒂安 and 辛格, 纳曼·迪普 and 克罗切, 弗朗西斯科 and 海因, 马蒂亚斯},
    year={2024},
    booktitle={{ICML}}
}