D

DFN Public

由 apple 开发
这是一个基于CLIP的ViT-B/32模型,使用数据过滤网络(DFN)从CC12M、CC3M和Shutterstock 15M数据集训练而来,适用于零样本图像分类任务。
下载量 3,822
发布时间 : 7/8/2024
模型介绍
内容详情
替代品

模型简介

该模型是基于对比语言-图像预训练(CLIP)的视觉Transformer模型,通过数据过滤网络自动筛选训练数据,能够实现零样本图像分类和图文匹配任务。

模型特点

数据过滤网络训练
使用小型数据过滤网络(DFN)自动筛选大规模未整理数据集,提高训练数据质量
多数据集联合训练
结合Conceptual Captions 12M/3M和Shutterstock 15M三个数据集进行训练
零样本分类能力
无需特定任务微调即可直接应用于新的图像分类任务

模型能力

零样本图像分类
图文匹配
跨模态检索

使用案例

内容管理
自动图像标注
为未标注图像自动生成描述性标签
电子商务
产品图像分类
根据商品描述自动分类产品图像