F

Fare2 Clip

由 chs20 开发
基于OpenAI CLIP初始化的视觉语言模型,通过无监督对抗微调提升鲁棒性
下载量 543
发布时间 : 2/23/2024
模型介绍
内容详情
替代品

模型简介

该模型是基于CLIP架构的视觉语言模型,采用无监督对抗微调方法在ImageNet数据集上训练,特别增强了对抗攻击的鲁棒性。

模型特点

对抗鲁棒性
采用无穷范数和半径2/255进行无监督对抗微调,增强了模型对对抗攻击的抵抗能力
零样本能力
保留CLIP模型的零样本分类能力,无需特定任务微调即可应用于新任务
视觉语言对齐
保持CLIP模型的视觉和语言表示对齐特性,支持跨模态任务

模型能力

零样本图像分类
跨模态检索
对抗鲁棒性分析

使用案例

计算机视觉
鲁棒图像分类
在对抗攻击环境下进行可靠的图像分类
在ImageNet上表现出更强的对抗鲁棒性
跨模态检索
图像与文本之间的跨模态搜索
安全应用
对抗攻击检测
识别可能包含对抗扰动的输入