T

Tecoa2 Clip

由 chs20 开发
基于OpenAI CLIP初始化的视觉语言模型,在ImageNet上进行监督式对抗微调,具有鲁棒性增强特性
下载量 53
发布时间 : 2/23/2024
模型介绍
内容详情
替代品

模型简介

该模型是基于CLIP架构的视觉语言模型,通过对抗微调增强了对抗样本的鲁棒性,适用于零样本图像分类等任务

模型特点

对抗鲁棒性
在ImageNet上进行监督式对抗微调,采用无穷范数和2/255半径,增强了模型对对抗样本的鲁棒性
零样本能力
保留CLIP模型的零样本学习能力,无需特定任务微调即可应用于多种视觉任务
视觉语言对齐
保持CLIP原有的视觉-语言对齐特性,能够理解图像与文本之间的语义关系

模型能力

零样本图像分类
跨模态检索
对抗样本识别

使用案例

计算机视觉
鲁棒图像分类
在存在对抗干扰的情况下进行准确的图像分类
相比标准CLIP模型,在对抗样本上表现更稳定
跨模态搜索
根据文本描述检索相关图像,或根据图像生成描述性文本
安全应用
对抗样本检测
识别可能经过对抗性修改的图像输入